kylin怎么读取mysql数据分析_数据分析型数据仓库kylin

最新推荐文章于 2024-07-26 16:49:39 发布

46649676737

最新推荐文章于 2024-07-26 16:49:39 发布

阅读量504

点赞数

文章标签： kylin怎么读取mysql数据分析

本文链接：https://blog.csdn.net/weixin_30837611/article/details/113936937

版权

Apache Kylin是一个用于大数据分析的工具，支持从MySQL等数据源进行数据分析。本文详细介绍了Kylin的组件，如REST Server、JDBC/ODBC接口和查询引擎，并讲解了创建Cube、SQL查询转换以及Cube构建的关键流程。Kylin利用预计算和HBase存储，提供快速查询，但对SQL支持有限，尤其是对JOIN和子查询的处理。

摘要由CSDN通过智能技术生成

kylin由以下几部分组成：

· REST Server：提供一些restful接口，例如创建cube、构建cube、刷新cube、合并cube等cube的操作，project、table、cube等元数据管理、用户访问权限、系统配置动态修改等。除此之外还可以通过该接口实现SQL的查询，这些接口一方面可以通过第三方程序的调用，另一方也被kylin的web界面使用。

· jdbc/odbc接口：kylin提供了jdbc的驱动，驱动的classname为org.apache.kylin.jdbc.Driver，使用的url的前缀jdbc:kylin:，使用jdbc接口的查询走的流程和使用RESTFul接口查询走的内部流程是相同的。这类接口也使得kylin很好的兼容tebleau甚至mondrian。

· Query引擎：kylin使用一个开源的Calcite框架实现SQL的解析，相当于SQL引擎层。

· Routing：该模块负责将解析SQL生成的执行计划转换成cube缓存的查询，cube是通过预计算缓存在hbase中，这部分查询是可以再秒级甚至毫秒级完成，而还有一些操作使用过查询原始数据(存储在hadoop上通过hive上查询)，这部分查询的延迟比较高。

· Metadata：kylin中有大量的元数据信息，包括cube的定义，星状模型的定义、job的信息、job的输出信息、维度的directory信息等等，元数据和cube都存储在hbase中，存储的格式是json字符串，除此之外，还可以选择将元数据存储在本地文件系统。

· Cube构建引擎：这个模块是所有模块的基础，它负责预计算创建cube，创建的过程是通过hive读取