大数据分析双剑合璧：Apache Kylin 和 Superset

分析师的挑战

在大数据时代，使用传统数据处理方式已经无法满足企业大规模数据的增长，而人工智能和 IoT 时代的到来让处理超大规模数据，解读超大规模数据的需求更加迫在眉睫。分析和理解超大规模数据集就成为这些企业要解决的当务之急。

 

Apache Kylin 开源 OLAP on Hadoop引擎

现代企业使用联机分析处理 ( OLAP ) 技术来分析数据，生成报表，从而帮助业务人员制订商务决策。随着大数据时代的来临和 Hadoop 技术的兴起，基于大数据平台的 OLAP 分析又给拥抱大数据的企业带来新的挑战。

Apache Kylin[1] 作为 Apache 基金会首个开源的 OLAP 分析引擎，已在全球得到了广泛的应用。Kylin采取预计算技术，可以为分析师在超大规模数据集上（PB／TB 级）提供亚秒级查询能力。Kylin 专注于 OLAP 计算引擎，提供很精妙的技术设计: Kylin 的数据源除了可以来自于 Hadoop 上的 Hive 数仓，还可以接收 Kafka 传递而来的流式数据; Cube 构建引擎可以用 MapReduce，一些构建步骤为了性能考量还可以选择使用 Spark；构建好的 Cube 默认存储在 HBase 中; 查询则采用业界最普遍使用的 ANSI-SQL 查询，分析师原有的 SQL 查询、报表、分析等可以轻松迁移到 Kylin。

查询接口上 Kylin 已经做到 ODBC/JDBC/RESTful 方式，这给第三方集成提供了巨大想像空间.

这里请读者留意，Kylin 设计精妙是指，Kylin 松耦合的设计完全可以让数据源，计算引擎，Cube 存储根据您自己使用场景而来做个性化定制——选择权在您手里。

 

 

•  高性能高并发: 支持TB到PB的数据规模上的亚秒级查询。

•  易于使用: 提供易用的 ODBC/JDBC/RESTful API 供使用和与第三方工具集成。

•  经济性: 一次构建可使得查询提速千百倍；查询越多越经济。

分析师期待可以快速的从不同的角度分析数据的情况，Kylin 作为 OLAP 引擎可以实现亚秒级查询响应，很好地解决了分析师面临的一个查询等待个把小时的窘境；有了数据处理的引擎，企业在赋能其数据科学团队，工程师和业务分析师进行基于数据的业务决策时，在前端仍需要的丰富的可视化图形，排序过滤等基础报表需求，对于高级分析师，使用其熟悉的 SQL 对数据进行再次加工处理也是非常有必要的。

针对以上问题，同样作为 Apache 软件基金会正在孵化项目的 Superset 便成为不二之选.

 

Superset 充满活力的企业级商业智能平台

Superset 是一个数据探索和可视化平台，设计用来提供直观的，可视化的，交互式的分析体验。

Superset 提供了两种分析数据源的方式：

1. 用户可以以单表形式直接查询多种数据源，包括 Presto、Hive、Impala、SparkSQL、MySQL、Postgres、Oracle、Redshift、SQL Server、Druid 等。本文后续内容也会详细介绍Superset如何支持Kylin数据源。

2. 一个 SQL 的 IDE 供高级分析师使用 SQL 查询定义所需要分析的数据集，这种方法使用户在一个查询中实现用 Superset 查询数据源的多表，并立即对查询进行可视化分析。

 

 

Superset 的前世今生

 

Superset 起源于 2015 年初黑客马拉松项目，曾经使用过 Caravel 和 Panoramix 作为项目名。现在主要维护小组是 Airbnb 数据科学组，代码托管在 Github。作为 Apache 软件基金会孵化项目，Superset 目标是要做成数据可视化平台。

 

 

Superset 对于数据源端通过一个成熟的 OR-Mapping 方案对接了几乎市面上所有数据库产品，数据的分析和建模再使用 Pandas 统一加工序列化后由前端渲染展示. 进而前端渲染出众多富有表现力的可视化图表