1.Kylin的理论基础与工作原理
存储领域屡试不爽的办法就是空间换时间:Kylin通过预计算,把预计算的Cuboid存储下来(占用额外的空间),真正查询的时候基于Cuboid中间数据性能成数量级提升。
2.Kylin架构
2.1.整体架构![](https://i-blog.csdnimg.cn/blog_migrate/22f249db10db6a79c28ec7e8baa73332.png)
2.2.组件职责
Kylin各组件从大的方面可以分为Cube构建和Cube查询两部分,往下可细分为如下组件:
- 数据源:Hadoop/Hive/Kafka/RDBMS
- Hadoop、Hive、Kafka、RDBMS是Kylin的数据源,负责存储原始数据。
- 原始数据多以星型模型或者雪花模型来存储,目前Kylin仅支持一张事实表+多张维表,如果业务复杂,有多张事实表需要提前预处理为一张宽表或者使用view。
- Cube Build Engine
- 负责Cube预计算,主要过程如下:
- 负责Cube预计算,主要过程如下:
- Metadata
- Kylin元数据包括Cube定义、星型/雪花模型定义、Job和Job执行信息、维度信息等
- 以json格式存储在HBase(也支持存储在MySQL)
- HBase
- 存储Cube的地方,充分利用了HBase的随机读写、横向扩展能力
- 外部第三方web app或者BI工具
- 基于Kylin提供的RestfulAPI和JDBC/ODBC接口,第三方webapp或者基于SQL的BI工具,包括Excel都可以轻松跟Kylin集成。
- 常见BI工具均可整合:Tableau,PowerBI/Excel,MSTR,QlikSense,Hue和SuperSet等。
- RestServer
- 提供Restful接口(用来进行Cube的各种操作、元数据管理、权限控制等等)
- Restful实现SQL查询(转SQL)
- Query Engine
- SQL引擎层(使用Calcite框架实现SQL解析),提供JDBC接口
- Routing
- 将SQL执行计划转换为Cube查询