在Hive中准备数据
-
Hive
需要被分析的数据必须先保存为Hive表的形式,然后Kylin才能 从Hive中导入数据,创建Cube。Apache Hive是一个基于Hadoop的数据仓库工具,可以将结构化的数据文件映射为数 据库表,并可以将SQL语句转换为MapReduce或Tez任务进行运行,从而让 用户以类SQL(HiveQL,也称HQL)的方式管理和查询Hadoop上的海量数据
-
星形模型
星形模型中有一张事实表,以及零个或多个维度表;事实表与维度表通过主键外键相关联,维度表之间没有关联,就像很多星星围绕在一个恒星周围,故取名为星形模型。Kylin只支持星形模型的数据集 -
维度表要求
1)要具有数据一致性,主键值必须是唯一的;
2)维度表越小越好,默认的阈值是300MB。
3)改变频率低
4)维度表最好不要是Hive视图(View) -
Hive表分区 支持多分区
如果Hive表正好是按此时间属性做分区的话,那么就可以利 用到Hive分区的好处,每次在Hive构建的时候都可以直接跳过不相干日 期的数据,节省Cube构建的时间。 -
了解维度的基数
维度的基数(Cardinality)指的是该维度在数据集中出现的不同值的 个数;