大数据-157 Apache Kylin 背景 历程 特点 场景 架构 组件 详解

点一下关注吧！！！非常感谢！！持续更新！！！

目前已经更新到了：

• Hadoop（已更完）
• HDFS（已更完）
• MapReduce（已更完）
• Hive（已更完）
• Flume（已更完）
• Sqoop（已更完）
• Zookeeper（已更完）
• HBase（已更完）
• Redis （已更完）
• Kafka（已更完）
• Spark（已更完）
• Flink（已更完）
• ClickHouse（已更完）
• Kudu（已更完）
• Druid（已更完）
• Kylin（正在更新…）

章节内容

上节我们完成了如下的内容：

• Apache Druid 和 Kafka 结合
• Druid 导入数据流程
• 查询案例 SQL

背景历史

Apache Kylin，一种MOLAP的数据分析引擎。最早脱胎于eBay中国研发中心，并贡献给Apache基金会，目前ApacheKylin的核心开发团队已经自立门户，创建了Kyligence(Kylin Intelligence)公司。值得一提的是，Apache Kylin是第一个由中国人主导的Apache顶级项目。

发展历程

• 2014年Kylin诞生，支持Hive批数据源，从海量历史数据挖掘价值
• 2015年V1.5 首先支持Kafka数据源，采用单机微批次处理构建
• 2016年V1.6发布实时（NRT Streaming），使用Hadoop微批次消费流数据
• 2017年V2.0支持雪花模型和Spark引擎
• eBay团队开始尝试 real-time
• 2018年V2.4支持Kafka流数据与Hive维度表JOIN
• eBay开源real-time OLAP 实现
• 2019年Q1，经过社区Review和完善，合并Master
• 2019年Q4，V3.0发布Real-time OLAP，实现秒级数据准备延迟

Kylin提供多维数据分析（MOLAP）的秒级响应，目前国内很多公司都在使用。

项目特点

• 数据源和模型：主要支持Hive、Kafka
• 构建引擎：早起支持MapReduce计算引擎，新版本支持Spark、Flink计算引擎。除了全量构建外，对基于时间的分区特性，支持增量构建。
• 存储引擎：构建好的Cube以Key-Value的形式存储在HBase中，通过优化RowKey加速查询。每一种维度的排列组合计算结果被保存为一个物化视图，叫Cuboid
• 优化算法：Cube本身就是用空间换时间，也会根据算法，剪枝优化掉一些多余的Cubeid，寻求平衡
• 访问接口：支持标准SQL查询，可以对接Zeppelin、Tableau等BI工具，SQL通过查询引擎，可以被路由到对应的Cuboid上。

应用场景

特点：Kylin在亚秒内返回海量数据的查询结果

Kylin的典型应用场景如下：

• 巨大的数据量，单个数据源表千亿级别，且单个数据源达到百TB级别
• 巨大的查询压力（查询的高并发）
• 查询的快速响应
• 下游较灵活的查询方式，需支持带有复杂条件的SQL查询

Kylin的核心思想是预计算，将数据按照指定的维度和指标，预先计算出所有可能的查询结果，利用空间换时间来加速模式固定的OLAP查询。

基本术语

数据仓库

数据仓库是一种信息系统的资料存储理论，强调的是利用某些特性的资料存储方式，让所包含的资料特别有利于分析和处理，从而产生有价值的咨询，并可依此做出决策。
利用数据仓库的方式存放的资料，具有一旦存入，便不会随时发生变动的特性，此外，存入的资料必包含时间属性，通过一个数据仓库中含有大量的历史性资料，并且它可以利用特定的分析方式，从其中发掘出特定的资讯。

OLTP

联机事务处理，传统的关系型数据库的应用。

OLAP分类

OLAP（Online Analytical Process），联机分析处理，以多维度的方式分析数据，它是呈现集成性决策信息的方法，多用于数据仓库或商务智能。其主要功能在于方便大规模数据分析及统计计算，可对决策提供参考和支持。与之相区别的是联机交易处理（OLTP），联机交易处理，侧重与基本的、日常的事务处理，主要是事务的增删改查。

OLAP的概念，在实际应用中存在广义和狭义两种不同的理解方式。广义上理解与字面上的意思相同，泛指一切不会对数据进行更新的分析处理。但更多的情况下OLAP被理解为其狭义上含义，即与多维分析相关，基于立方体(Cube)计算而进行的分析。

OLAP有多种实现方法，根据存储数据的方式不同可以分为：

• ROLAP（Relational OLAP），细节数据，聚合后的数据都保存在类关系型数据库中，Hive、SparkSQL属于ROLAP。
• MOLAP（Multidimensional OLAP），事先将汇总数据计算好，存放在自己特定的多维数据库中，用户的OLAP操作可以直接映射到多维数据库的访问，不通过SQL访问吗，其实本质上是空间换时间。Kylin的本质是MOLAP
• HOLAP（Hybrid OLAP），表示基于混合数据组织的OLAP实现（Hybrid OLAP），如低层是关系型的，高层是多维矩阵型的，这种方式具有更好的灵活性。

事实表和维度表

事实表（Fact Table）是指存储有事实记录的表，如系统日志、销售记录、传感器数值等，事实表的记录是动态增长的，所以它的体积通常远大于维度表。

维度表（Dimension Table）或维度表，也称为查找表（LookUp Table），是与事实表相应的一种表，它保存了维度的属性值，可以跟事实表做关联。相当于事实表上经常重复的属性抽取、规范出来用一张表进行管理。

常见的维度表：日期表（存储日期对应的年月日、季度等）、地区表（国家、省、城市等）。维度表的变化通常不会太大。
维度表可以带来如下的好处：

• 缩小了事实表的大小
• 便于维度的管理和维护，增加、删除、修改维度的属性，不必对事实表的大量记录进行改动
• 维度表可以多个事实表重用

维度和度量

userid,2020-10-01 09:00:00, produceid,shopid,orderid,299

维度是指审视数据的角度，它通常是数据记录的一个属性，例如：时间、地点等
度量就是被聚合的统计值，也就是聚合运算的结果，通常是一个数值，如总销售额、不同的用户数等。

分析人员往往要结合干个维度来审查度量值，以便在其中找到变化规律。在一个SQL查询中。GROUP BY的属性通常就是维度，而所计算的值则是度量。

SELECT 
  part_dt, 
  lstg_site_id, 
  sum(price) as total_selled, 
  count(DISTINCT seller_id) as sellers
FROM
  kylin_sales
GROUP BY part_dt, lstg_site_id;

以上查询中，part_dt、lstg_site_id是维度、sum(price)、count（distanct seller_id）是度量。

星型&雪花模型

星型模型（Star Schema）是数据仓库维度建模中常用的数据模型之一。它的特点是一张事实表，以及一到多个维度表，事实表与维度表通过主外键相关联，维度表之间没有关联，就像需要小星型围绕在一颗恒星的周围，所以叫星型模型。
另一种常用的叫雪花模型（SnowFlake Schema），就是将星型模型中的某些维度表抽取成更细粒度的维表，然后让维表之间也进行关联，这种形状酷似雪花，所以叫做雪花模型。

Cube和Cuboid

Cube即多维立方体，也叫数据立方体。

这个由三个维度（维度数超过3个，上图仅为了方便画图表达）构成了一个OLAP立方体，立方体中包含了满足条件的Cell（子立方体）值，这些Cell里面包含了要分析的数据，称之为度量值。

• 立方体：由维度构建出来的多维空间，包含了所有要分析的基础数据，所有的聚合数据操作都在立方体上进行
• 维度：观察数据的角度，一般是一组离散的值，对于N个维度来说，所有可能的组合有2的N次方个
• 度量：即聚合计算的结果，一般是连续的值
• Cuboid：特指Kylin中在某一种维度组合下所计算的数据
• 事实表中的一个字段，要么是维度，要么是度量（可以被聚合）
• 给定一个数据模型，可以对其上的所有维度进行组合，对于N个维度来说，所有可能的组合有2的N次方个
• Cube（或称DataCube），即数据立方体，是一种常用于数据分析于索引技术，它可以对原始数据建立多维度索引，大大加快查询效率。数据立方体只是多维模型的一个形象的说法
• Cuboid特指Kylin中在某一维度组合下所计算的数据

技术架构

基本介绍

ApacheKylin 系统可以分为：

• 在线查询
• 离线构建

在线查询模式主要处于上半部分，离线构建处于下半部分。
Kylin的技术架构如下：

• 数据源主要是Hadoop Hive，数据以关系表的形式输入，保存着待分析的数据，根据元数据的定义，构建引擎从数据源抽取数据，并构建Cube
• Kylin可以使用MapReduce或Spark作为构建引擎，构建后的Cube保存在右侧的存储引擎中，一般选用HBase作为存储
• 完成了离线的构建后，用户可以从查询系统发送SQL进行查询分析
• Kylin提供了各种RestAPI，JDBC、ODBC接口。无论从哪个接口进入，SQL最终都会来到Rest服务层，再转交给查询引擎进行处理。
• SQL语句是基于数据源的关系模型书写的，而不是Cube，Kylin在设计时，刻意对查询用户屏蔽了Cube的概念。只要理解了关系模型就可以使用Kylin，没有额外的学习门槛，传统的SQL应用也很容易迁移。
• 查询引擎解析SQL，生成基于关系表的逻辑执行计划，然后将其转换为基于Cube的物理执行计划，最后查询预计生成的Cube并产生结果，整个过程不会访问原始数据源

组件功能

• REST Server，提供Resutful接口，例如创建、构建、刷新、合并等Cube相关操作，Kylin的Projects、Tables等元数据管理，用户访问权限控制，SQL的查询等。
• Query Engine：使用开源的Apache Calcite框架实现SQL解析，可以理解为SQL引擎层
• Routing：负责将解析SQL生成的执行计划转换成Cube缓存的查询，这部分查询时可以秒级甚至毫秒级完成
• Metadata：Kylin中有大量的元数据信息，包括Cube的定义、星型模型的定义、Job和执行Job的输出信息、模型的维度信息等等。Kylin的元数据和Cube都存储在HBase中，存储的格式是JSON字符串
• Cube Build Engine：所有的模块的基础，它主要负责Kylin预计算中创建Cube，创建的过程是首先通过Hive读取原始数据，然后通过一些MapReduce或Spark计算生成HTable，最后将数据load到HBase表中。

工作原理

Apache Kylin的工作原理是对数据模型做Cube计算，并利用计算的结果加速查询，具体的过程如下：

• 指定数据模型，定义维度和度量
• 预计算Cube，计算所有Cuboid并保存为物化视图（存储到HBase中）
• 执行查询时，读取Cuboid，计算并产生查询结果

高效OLAP分析：

• Kylin的查询过程不会扫描原始记录，而是通过预计算预先完成表的关联、聚合等复杂运算
• 利用预计算的结果来执行查询，相比非预计算的查询技术，其速度一般要快一到两个数量级，在超大的数据集上优势更明显
• 数据集达到千亿乃至万亿级别时，Kylin的速度可以超越其他非预计算技术的1000倍以上

Kylin生态

• Apache Kylin的核心：Kylin的OLAP引擎由元数据引擎、查询引擎、任务引擎、存储引擎组成。另外，它还有一个REST服务对外 提供查询请求的服务
• 可扩展性：提供插件机制支持额外的特性和功能
• 与其他系统的整合：可整合任务调度器、ETL工具、监控及告警系统
• 驱动包（Drivers）：提供ODBC、JDBC驱动支持与其他工具（如Tableau）的整合