apache Kylin系列介绍及配置

pk_xz123456

于 2024-07-12 16:44:03 发布

阅读量292

点赞数 2

分类专栏： apache Kylin 文章标签： kylin

本文链接：https://blog.csdn.net/huanghm88/article/details/140383135

版权

Apache Kylin是一个开源的分布式分析引擎，用于OLAP（联机分析处理）数据处理。它专门设计用于处理大规模的数据集，并提供快速的查询和分析能力。

apache Kylin架构：

Apache Kylin是一个开源的分布式分析引擎，旨在提供高性能、低延迟的OLAP（联机分析处理）能力。下面是Apache Kylin的典型架构：

用户界面层：提供给用户进行查询和数据分析的用户界面，例如Web界面或者客户端应用程序。
查询引擎层：负责接收用户的查询请求，并将其转化为相应的SQL查询语句。查询引擎可以同时支持多种查询引擎，例如Hive、Impala、Presto等。
元数据层：存储Kylin的元数据，包括数据模型、数据源连接信息、数据分片信息等。元数据可以存储在关系型数据库中，例如MySQL或者Apache HBase。
查询优化器层：根据查询请求和元数据信息，对查询进行优化，包括选择合适的数据分片、数据聚合等优化策略。
数据引擎层：负责数据的存储和计算，通常使用列式存储引擎（例如Apache Parquet）存储数据，并使用分布式计算框架（例如Apache Hadoop或者Apache Spark）来进行计算。
查询计划层：根据查询优化器的优化结果和数据引擎的数据存储方式，生成最终的查询计划。
查询执行层：根据查询计划，将查询分发给相应的数据分片进行计算，并将结果返回给用户。
数据加载层：负责将原始数据从数

关注