hive增量表和全量表_你真的了解全量表,增量表及拉链表吗？

1

Mysql数据准备

第一天 9月10号数据

1,待支付,2020-09-10 12:20:11,2020-09-10 12:20:112,待支付,2020-09-10 14:20:11,2020-09-10 14:20:113,待支付,2020-09-10 16:20:11,2020-09-10 16:20:11

第二天 9月11号数据

1,待支付,2020-09-10 12:20:11,2020-09-10 12:20:112,已支付,2020-09-10 14:20:11,2020-09-11 14:21:113,已支付,2020-09-10 16:20:11,2020-09-11 16:21:114,待支付,2020-09-11 12:20:11,2020-09-11 12:20:115,待支付,2020-09-11 14:20:11,2020-09-11 14:20:11

对比mysql第一天和第二天的数据发现，第二天新增了订单id为4和5这两条数据，并且订单id为2和3的状态更新为了已支付

2

全量表

每天的所有的最新状态的数据。

1、全量表，有无变化，都要报

2、每次上报的数据都是所有的数据(变化的 + 没有变化的)

9月10号全量抽取到ods层

create table wedw_ods.order_info_20200910(order_id     string    COMMENT '订单id',order_status string    COMMENT '订单状态',create_time  timestamp COMMENT '创建时间',update_time  timestamp COMMENT '更新时间') COMMENT '订单表'row format delimited fields terminated by ',';

create table wedw_dwd.order_info_df(order_id     string    COMMENT '订单id',order_status string    COMMENT '订单状态',create_time  timestamp COMMENT '创建时间',update_time  timestamp COMMENT '更新时间') COMMENT '订单表'partitioned by (date_id string)row format delimited fields terminated by ',';

# 把wedw_ods.order_info_20200910数据全量插到dwd层2020-09-10分区insert overwrite table wedw_dwd.order_info_df partition(date_id = '2020-09-10')selectorder_id,order_status,create_time,update_timefrom wedw_ods.order_info_20200910;

9月11号全量抽取到ods层

create table wedw_ods.order_info_20200911(order_id     string    COMMENT '订单id',order_status stri