kylin 的cube 构建
1 新建项目(略)
2 新建model
2.1 选事实表和维度表
如果维度表小,可以存到内存中,就不用skip snapshot for this lookup table
2.2 维度
2.3 度量
2.4 过滤条件
3 新建cube
3.1 维度选择(维度表的method_name的类型为derived,构建cube时不计入cube的维度,cube构建后通过外键method_id来推导出来method_name对应的维度信息)
3.2 度量选择(精确值percisely)
3.3 维度分组(mandatory cube 中必选维度,hierarchy 分层维度, join 一起出现的维度)
3.4 rowkey 设计
integer dict 等,字符串使用dict,integer使用integer ,长度根据基数确定
此外,排序根据过滤条件和基数确定,属于过滤条件的放在前面,基数越大的放在前面
4 monitor 中可以看到任务信息,insight 中可以执行sql
5 build任务的前六步
1 建立中间hive表
2 将hive表平均分为几个分区
3 提取事实表不同的列
4 建立维度字典
5 保存各个长方体统计
6 建立hbase表