Kylin实战（五）—— Cube构建流程

废话不多说我们直接上步骤：

第一步：创建中间宽表（Create Intermediate Flat Hive Table）

第二步：数据均分

第三步：进行字典编码、范围统计和cuboid估算

第四步：构建Cube，执行MR，生成预聚合表

第五步： HBase存储K_V值构建（也就是Rowkey构建）

第六步：将Cube中的数据转换为HFile格式并存储到HBase中

这一步会启动一个MR任务用来将cuboid文件（顺序文件格式）转换为Hbase的HFile文件。Kylin通过cube的统计信息来计算HBase的region个数，默认每个region大小是5G。Region数越多，就会使用更多reducer。如果发现reducer的数目很少，并且性能很差，就可以“conf/kylin.properties”中增加如下配置项：

kylin.hbase.region.cut=2 
kylin.hbase.hfile.size.gb=1

如果不能确定一个HBase的region该设置为多大，请联系HBase管理员。
后续步骤比较简单，大家有兴趣可以看一下官网。这里我们就不在一一赘述。
Kylin Cube构建优化以及增量构建Cube