Cube的维度优化

Cube的维度优化

Cube的优化目的始终为: 空间优化和查询时间优化

• 随着维度数目的增加, Cuboid 的数量会爆炸式地增长
• 为了缓解Cube的构建压力, Apache Kylin引入了一系列的高级设置, 帮助用户筛选出真正需要的Cuboid
• 这些高级设置包括聚合组(Aggregation Group)、联合维度(Joint Dimension)、层级维度(Hierachy Dimension)和必要维度(Mandatory Dimension)等

Mandatory Dimension(强制维度)

说明: 用户有时会对某一个或几个维度特别感兴趣，所有的查询请求中都存在group by这个维度，那么这个维度就被称为必要维度

• 只有包含此维度的Cuboid会被生成
• Mandatory dimension cuts cuboid combinations by half.

Hierarchy dimension(层级维度)

• 用户选择的维度中常常会出现具有层级关系的维度
• Dimensions that form a “contains” relationship where parent level is required for child level to make sense
• 常见的例子如日期的年->季度->月->日, 和地理位置信息国家->省->市->区
• Hierarchy dimension reduces combination from $2^N$ to $N+1$

假设维度A代表国家, 维度B代表省份, 维度C代表城市, 那么ABC 三个维度可以被设置为层级维度, 只会生成Cuboid_ABC、Cuboid_AB和Cuboid_A及它们和其他维度的组合

Joint Dimension(联合维度)

说明: 用户有时并不关心维度之间各种细节的组合方式, 例如查询语句中仅仅会出现group by A, B, C, 而不会出现group by A, B或者group by C这些查询组合, 这一类问题就是联合维度所解决的问题

• 联合维度要么一起出现, 要么一起不出现

将维度A、B和C定义为联合维度, 构建的时候就只会生成Cuboid_ABC, 而Cuboid_AB、Cuboid_BC、Cuboid_A等等由Cuboid_ABC以降的Cuboid都不会被生成

Derived dimension

• 有效维是事实表上的外键(也即维表的主键)
• lookup table(维表)上的维, 根据事实表上的primary key(主键)从维表上衍生而来
• Derived dimension reduces combination from $2^N$ to $2^0$ at the cost of extra runtime aggregation.
• 查询的时候做维度的翻译

Aggregation Group

• 用户根据自己关注的维度组合, 可以划分出自己关注的组合大类, 这些大类在Apache Kylin里面被称为聚合组, 通常情况下同一个聚合组内的维度更可能同时被一个查询用到
• 每个分组的维度集合均是Cube所有维度的一个子集
• 不同的分组各自拥有一套维度集合, 它们可能与其他分组有相同的维度, 也可能没有相同的维度