Kylin遇到的问题记录--#3 Extract Fact Table Distinct Columns

问题:

job执行到#3报错


问题分析:

由于报java heap space错,首先想到的是调大reduce、jvm这两个参数(我的另外一篇博文提到),结果还是不奏效。

由于我是身边第一个吃螃蟹的人,只能硬着头皮接着考虑出现问题的原因,心态从焦虑逐渐沉静下来,仔细思考了自己的表

此表仅有两个维度,但是每个维度的基数都特别大,其中一个10000+,另外一个2000000+

后来又经过查看大量资料,发现这种基数超过百万的事实表在#3创建维度字典的时候会有问题(因为这种表就不适合用kylin创建cube,主要是没有按日期或是时间进行分区)

问题解决:

修改配置: AdvancedSetting-->Rowkeys将encoding从dic改为对应的fixed_length、integer后,重新创建job后成功



ps:关于Encoding和Length的设置后续我会专门研究一下,并和大家分享,此次为了尽快建立cube没有深究

update v1

关于Encoding和Length的设置请点击此链接


  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值