Kylin 介绍

有幸参加了ebay的数次会议，有幸认识了产品经理Luke,现就其中的重要概念进行阐述：

http://kylin.incubator.apache.org/

Kylin是一个开源、分布式的OLAP分析引擎,它由eBay公司开发，并且基于Hadoop提供了SQL接口和OLAP接口，能够支持TB到PB级别的数据量。从Kylin官网得知，它具有以下特性：

• 超级快的OLAP分析引擎，并具备较强的可伸缩性

  Kylin旨在减少Hadoop在10亿行以上数据级别的情况下的查询延迟。

• 为Hadoop 提供 ANSI-SQL 接口

  Kylin为Hadoop提供了ANSI-SQL接口，并且支持大多数的ANSI-SQL的函数。

• 交互式查询能力

  用户能够通过Kylin在秒级别的延迟状况下同Hadoop进行交互，并且对于相同的数据。集效果优于Hive的查询

• 多维联机分析处理数据仓库（MOLAP Cube）

  用户能够定义数据模型，并且通过Kylin能够预建超过10多亿行原始数据记录的数据模型。

• 数据模型可与其他 BI 工具无缝集成

  目前，Kylin提供了同BI工具无缝集成的功能，如Tableau。

• 其他值得关注的特性

  具有作业管理和监控的功能、具有简单易用的 Web操作界面、支持数据压缩和编码、支持 LDAP 集成、能够利用HBase的Coprocessor降低查询延迟等。

支持Kylin能够良好运行的生态系统包括以下组成部分：

• Kylin的核心部分

  Kylin的OLAP引擎框架包括元数据引擎、查询引擎、作业引擎、存储引擎以及用来处理客户端请求的REST服务器

• 可扩展的组件部分

  包括支持更多功能的插件,如HBase的Coprocessor、Hive等。

• 集成的组件部分

  生命周期管理器支持集成作业调度器、ETL工具、监控和报警系统。

• 用户界面部分

  允许第三方用户基于Kylin 核心组件定制自己的用户界面。

• 驱动部分

  ODBC和JDBC 驱动能够支持不同的工具和产品，如Tableau。

Kylin是开源的OLAP分析引擎，OLAP即联机分析处理，它能够帮助分析人员、管理人员或执行人员从多角度快速、一致、交互地存取信息和更加深入的了解信息。OLAP的目标是满足决策支持或者满足在多维环境下特定的查询和报表需求。目前，比较著名的开源OLAP分析引擎还有Lemur和Mondrian。Lemur是用C++编写的面向混合型联机分析处理(HOLAP)的引擎，它能够被其他语言的程序所调用，支持切片、切块和旋转等基本操作。Mondrian是用JAVA编写的面向关系型联机分析处理（ROLAP）引擎，它符合XML和XMLA协议，可以完成异构平台下的数据通信。Mondrian被设计运行在关系数据库上，提供基于JAVA 的API供应用程序调用展示结果。 另外，Kylin的源代码托管在GitHub上，更多Kylin相关信息，读者可登录其官网或者GitHub查看。