【大数据-电商数仓项目笔记整合】即席查询-Kylin篇

Kylin

Kylin原理

  Kylin的原理是为了应对hive表中用户不同的查询要求，Kylin穷举所有的计算结果。该即席查询工具是为了方便多维度分析。OLAP的通俗的理解是软件技术，能够使分析人员迅速地、一致地、交互地从各个方面观察信息，也就是从不同维度、各个方面了解信息。

举例来说，比如我们需要分析订单金额总和的规律，需要从不同的角度去观察

 我们可以分别从地区、品类、时间三个维度来观察订单金额总和，实际上可以得出结论共有$2^n-1$个角度来分析数据。上述可以从7种角度来观察数据。

OLAP类型

OLAP类型分为MOLAP和ROLAP，分别是基于多维数据集和基于关系型数据集，MOLAP是需要进行预计算的。

比如东北、居家、2月份的数据块，这个数据块是对应有多条数据的，里边包含了多条数据，而不是一条数据。

我们通过不同的cube可以从不同的角度来观察数据。

Kylin存储位置

  kylin存储位置是在Hbase中，为什么存储在Hbase中？
因为Hbase能够在很短时间内在海量数据中随机读写的存储引擎，最终Hbase定位是海量数据的存储，而HDFS优点是对海量数据批量读写。
  Hbase中无论是删除还是修改，都是以追加一条新数据的方式来实现，所以不需要去查询原来的数据条。Hbase对读数据的时候进行了优化，可以根据Rowkey有序来使用查询算法来提高效率。
  Kylin需要进行预计算，即需要进行穷举所有计算结果。首先我们需要一个易扩展的海量数据存储引擎，所以Hbase很适合。MOLAP不是从原始数据查，我们是从结果当中查，即席查询需要提供快速查询的功能。