kylin 权威指南----读书笔记1

本文都是我对kylin有一定了解后，再看权威指南时的笔记，有的只记下了自己认为重要的概念，有的几下自己没有掌握的概念，所以有一定片面性，如果您正在使用kylin，个人建议还是用一个下午看看kylin权威指南，比不懂概念一直找度娘省时高效。

点击下载kylin权威指南

维度和度量

---

维度是指审视数据的角度，它通常是数据记录的一个属性，例如时间地点等

度量是基于数据所计算出来的考量值，通常是一个数值，如销售额，不同的用户等

分析人员往往要结合若干个维度来审查度量值，以便在其中找到变化规律

在一个sql中group by属性就是一个维度，而所计算的指就是一个度量

事实表和维度表

---

事实表：FactTable，是指存储大量实际记录的表，通常为系统日志，销售记录等。会随着业务、时间增长；所以它的体积大于其他表

维度表：维表，DimensionTable，也成查找表，LookupTable；是与事实表相对应的表，保存的是维度属性值，可以和事实表做关联；相当于事实表中经常重复出现的属性提取、规范用一张表来管理。常见的维表有：日期表、地点表。使用维度表的好处：1、减少事实表的大小，2、便于维度的管理和维护，增删改维度的属性不会对事实表的大量记录进行改动，3、维度表可以为多个事实表重用，减少重复工作。

Cube、Cuboid和segment

---

Cube：对原始数据建立多维索引

Cuboid：某一种维度组合下的所有数据

segment：是指针对数据中的某一个片段，计算出来的Cube数据。

维度表的设计

---

维度表主键要唯一

维度表越小越好

维度表改变频率要低

维度表最好不要用Hive视图

Hive表分区

---

Kylin支持增量Cube创建，通常是按时间属性来增量地从Hive表中抽取数据。如果Hive表正好按此时间做分区的话，那么就可以利用hive分区的好处，每次在cube构建的时候都可以直接跳过不相干的日志数据，节省cube创建时间。在Kylin中叫 Partition Time Column,对应hive中的分区列

维度的基数

---

维度的基数(Cardinality)指的是该维度在数据集中出现的不同值得个数；例如“国家”是一个维度，如果有200个不同的值，那么此维度的基数就是200。通常一个维度从几十到几万个不等，个别维度如“用户ID”的基数会超过百万甚至千万。基数超过一百万的维度通常被称为高基数维度（Ultra High Cardinality，UHC），需要设计者注意

如果一个cu