kylin #4 Step Name: Build Dimension Dictionary failed

java.lang.IllegalStateException: Dup key found, key=[1.0E8],
value1=[....],
value2=[....]
at org.apache.kylin.dict.lookup.LookupTable.initRow(LookupTable.java:84)
at org.apache.kylin.dict.lookup.LookupTable.init(LookupTable.java:67)

错误原因:
1.model中 data model 》 join conditions 关系配置错误


    2.hive表中,和事实表外键 关联的字段在维度表中的key不唯一,将hive表中的数据去重
  1. insert overwrite table case_seed_dim  
  2. select
  3.       t.case_seed_one,t.case_seed_one_short_descrip,t.case_seed_one_long_descrip,
  4.       t.case_seed_two,t.case_seed_two_short_descrip,t.case_seed_two_long_descrip, 
  5.            t.case_seed_three,t.case_seed_three_short_descrip,t.case_seed_three_long_descrip,
  6.       t.case_seed_no,t.case_seed_delete,t.case_seed_valid,t.case_seed_four,
  7.       t.case_seed_four_short_descrip,t.case_seed_four_long_descrip
  8. from   
  9. select case_seed_one, case_seed_one_short_descrip, case_seed_one_long_descrip,
  10.          case_seed_two,case_seed_two_short_descrip, case_seed_two_long_descrip, case_seed_three,                  
  11.          case_seed_three_short_descrip,case_seed_three_long_descrip,case_seed_no,                                                     
  12.          case_seed_delete, case_seed_valid,case_seed_four, case_seed_four_short_descrip,                       
  13.          case_seed_four_long_descrip,
  14.          row_number() over(distribute by case_seed_no sort by case_seed_one as rn  
  15.      from case_seed_dim  ) t  
  16. where t.rn=1;  

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值