【Apache Kylin 】 大数据下的OLAP解决方案(原理篇)

前言

在现在的大数据时代，Hadoop已经成为大数据事实上的标准规范，一大批工具陆陆续续围绕Hadoop平台来构建，用来解决不同场景下的需求。

让我们来想想有哪些业务需求呢？

• 比如Hive是基于Hadoop的一个用来做企业数据仓库的工具，可以将存储在HDFS分布式文件系统上的数据文件映射为一张数据库表，并提供SQL查询功能，Hive执行引擎可以将SQL转换为MapReduce任务来进行运行，非常适合数据仓库的数据分析。

• 再比如HBase是基于Hadoop，实现高可用性，高性能，面向列，可伸缩的分布式存储系统，Hadoop架构中的HDFS为HBase提供了高可靠性的底层存储支持。

但是缺少一个基于Hadoop的分布式分析引擎，虽然目前存在业务分析工具，如Tableau等，但是他们往往存在很大的局限，比如难以水平扩展、无法处理超大规模数据，同时也缺少Hadoop的支持。

ApacheKylin的出现，能够基于Hadoop很好地解决上面的问题。Apache Kylin是一个开源的分布式存储引擎。它提供Hadoop之上的SQL查询接口及多维分析（OLAP）能力以支持大规模数据，能够处理TB乃至PB级别的分析任务，能够在亚秒级查询巨大的Hive表，并支持高并发。

 

大数据多维分析的挑战

在Apache Kylin集群上跑了多个Cube测试，结果表明它能够有效解决大数据计算分