Kylin问题

Kylin问题

Caused by: java.lang.IllegalStateException: The table: DWD_DIM_USER_INFO_HIS Dup key found, key=[1], value1=[1,凤滢,1967-07-25,F,dbzs6pacpp@hotmail.com,1,2020-07-25 14:14:45.0,null,2020-07-25,2020-07-24], value2=[1,凤滢,1967-07-25,F,dbzs6pacpp@hotmail.com,1,2020-07-25 14:14:45.0,null,2020-07-25,2020-07-24]

每日全量维度表及拉链维度表重复Key问题如何处理
因为这个表是拉链表 还有join全量表的时候也有可能遇上这个问题.

错误原因分析：
上述错误原因是model中的维度表dwd_dim_user_info_his为拉链表、dwd_dim_sku_info为每日全量表，故使用整张表作为维度表，必然会出现订单表中同一个user_id或者sku_id对应多条数据的问题，针对上述问题，有以下两种解决方案。

解决方案:
方案一：在hive中创建维度表的临时表，该临时表中只存放维度表最新的一份完整的数据，在kylin中创建模型时选择该临时表作为维度表。
方案二：与方案一思路相同，但不使用物理临时表，而选用视图（view）实现相同的功能。

在生产环境中 我们选择的是第二种方案.

--拉链维度表视图
create view dwd_dim_user_info_his_view as select * from dwd_dim_user_info_his where end_date='9999-99-99';

--全量维度表视图
create view dwd_dim_sku_info_view as select * from dwd_dim_sku_info where dt=date_add(current_date,-1);

--当前情形我们先创建一个2020-07-25的视图
create view dwd_dim_sku_info_view as select * from dwd_dim_sku_info where dt='2020-03-10';