kylin的cube优化

本文探讨了大数据处理中的立方体构建策略,包括按时间分区的增量构建、聚合组设置、行键优化以及模型构建过程中的事实表和维度表使用。通过设置partitionstartdate和automergethresholds实现增量更新,利用聚合组定义维度层级和关联,并根据维度基数调整行键顺序,以提升查询效率。同时,介绍了driver类型的维度,它们通过事实表推导得出,不直接参与cube构建。
摘要由CSDN通过智能技术生成

1 针对按照时间分区的分区表,可以设置增量构建cube,partion start date 设置开始日期,auto merge thresholds 表示 每日构建一个segment, 7 天小合并,28天大合并 

2 设置聚合组,可以设置多个聚合组,inclues选定该聚合组的维度,mandatory 设置必选维度, hierarchy 设置层级维度, joint 设置1:1 出现的维度 例如province_id 与 province_name

3 rowkey 设置, 频繁使用的过滤条件放在前面,该维度基数大的放在前面

4 构建model过程中添加事实表和维度表,之后构建cube过程中维度选择会有driver类型,表示该维度不参与cube构建,该维度是通过事实表的维度推导而来的。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值