通过DataWorks周期性导入MaxCompute数据至Hologres最佳实践

VIP文章胜利的曙光

已于 2022-10-08 17:39:24 修改

阅读量1.5k

点赞数

分类专栏：阿里云数据仓库文章标签： odps sql 数据库

于 2022-10-08 17:31:11 首次发布

本文链接：https://blog.csdn.net/shenglishuguang/article/details/127212898

版权

1.在MaxCompute创建数据表

MaxCompute分区表选择MaxCompute公共数据集public_data中的分区表dwd_ product_movie_basic_info。

--MaxCompute分区表DDL
CREATE TABLE IF NOT EXISTS public_data.dwd_product_movie_basic_info(
  movie_name STRING COMMENT '电影名称',
  dirctor STRING COMMENT '导演',
  scriptwriter STRING COMMENT '编剧',
  area STRING COMMENT '制片地区/国家',
  actors STRING COMMENT '主演',
  `type` STRING COMMENT '类型',
  movie_length STRING COMMENT '电影长度',
  movie_date STRING COMMENT '上映日期',
  movie_language STRING COMMENT '语言',
  imdb_url STRING COMMENT 'imdb号'
) 
PARTITIONED BY (ds STRING) STORED AS ALIORC;

2.验证查询结果

查看分区表20170112分区的数据。

SELECT * FROM public_data.dwd_product_movie_basic_info WHERE ds = '20170112';

3.Hologres中新建外部表

新建一张Hologres外部表，用于映射MaxCompute源头表数据。外表的字段顺序和字段类型需要和MaxCompute表的一一对应。

使用import foreign schema命令，创建名称为dwd_product_movie_basic_info的Hologres外部表。

import foreign schema public_data limit to (dwd_product_movie_basic_info) from server odps_server into public options(if_table_exist 'update');

4.Hologres中新建真实存储表（内部表）

BEGIN;
CREATE TABLE "public"."holo_dwd_product_movie_basic_info" (
 "movie_name" text,
 "dirctor" text,
 "scriptwriter" text,
 "area" text,
 "actors" text,
 "type" text,
 "movie_length" text,
 "movie_date" text,
 "movie_language" text,
 "imdb_url&