1
Mysql数据准备
第一天 9月10号数据
1,待支付,2020-09-10 12:20:11,2020-09-10 12:20:112,待支付,2020-09-10 14:20:11,2020-09-10 14:20:113,待支付,2020-09-10 16:20:11,2020-09-10 16:20:11
第二天 9月11号数据
1,待支付,2020-09-10 12:20:11,2020-09-10 12:20:112,已支付,2020-09-10 14:20:11,2020-09-11 14:21:113,已支付,2020-09-10 16:20:11,2020-09-11 16:21:114,待支付,2020-09-11 12:20:11,2020-09-11 12:20:115,待支付,2020-09-11 14:20:11,2020-09-11 14:20:11
对比mysql第一天和第二天的数据发现,第二天新增了订单id为4和5这两条数据,并且订单id为2和3的状态更新为了已支付
2
全量表
每天的所有的最新状态的数据。
1、全量表,有无变化,都要报
2、每次上报的数据都是所有的数据(变化的 + 没有变化的)
9月10号全量抽取到ods层
create table wedw_ods.order_info_20200910(order_id string COMMENT '订单id',order_status string COMMENT '订单状态',create_time timestamp COMMENT '创建时间',update_time timestamp COMMENT '更新时间') COMMENT '订单表'row format delimited fields terminated by ',';
create table wedw_dwd.order_info_df(order_id string COMMENT '订单id',order_status string COMMENT '订单状态',create_time timestamp COMMENT '创建时间',update_time timestamp COMMENT '更新时间') COMMENT '订单表'partitioned by (date_id string)row format delimited fields terminated by ',';
# 把wedw_ods.order_info_20200910数据全量插到dwd层2020-09-10分区insert overwrite table wedw_dwd.order_info_df partition(date_id = '2020-09-10')selectorder_id,order_status,create_time,update_timefrom wedw_ods.order_info_20200910;
9月11号全量抽取到ods层
create table wedw_ods.order_info_20200911(order_id string COMMENT '订单id',order_status stri