Apache kylin 原理和架构

Apache Kylin是一个开源的分布式分析引擎,通过预计算技术提高大数据查询速度。它从Hive读取数据,使用MapReduce构建Cube并存储到HBase,提供SQL查询接口。Kylin的核心包括REST Server、查询引擎、路由、元数据管理工具、任务引擎、存储引擎和ODBC驱动,支持与Tableau等工具的集成。
摘要由CSDN通过智能技术生成

Apache Kylin™是一个开源的分布式分析引擎,提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据,最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。

1.基本原理

kylin的核心思想是预计算,理论基础是:以空间换时间。即多多维分析可能用到的度量进行预计算,将计算好的结果保存成Cube并存储到hbase中,供查询时直接访问。把高复杂度的聚合运算,多表连接等操作转换成对预计算结果的查询。

基本概念:

  • Cuboid: Kylin中将维度任意组合成为一个Cuboid。
  • Cube: Kylin中将所有维度组合成为一个Cube,即包含所有的Cuboid。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值