不一样 使用别名 数据字段和bean_Apache Kylin MOLAP 使用总结

一、 Kylin背景介绍

Apache Kylin™是一个开源的分布式分析引擎，提供Hadoop/Spark之上的SQL查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc. 开发并贡献至开源社区。它能在亚秒内查询巨大的Hive表。

二、 Kylin概述

Apache kylin 是一个开源的海量数据分布式预处理引擎。它通过 ANSI-SQL 接口，提供基于 hadoop 的超大数据集（TB-PB 级）的多维分析（OLAP）功能。

Kylin从web界面上面来看，它包含四大模块,但是模块又是利于工程下面的，这个关系好比如：Java开发中的Maven这种管理机制，Maven可以创建一个父项目，父项目里面还可以创建多个Model， 当然了，这里的应用场景不同，所以说可以创建多个项目，项目里面又细分了四个模块。整个体系是按照项目作为一个独立存活的一个单元，项目又类似命名空间一下。工程就把多个工程中的四大模块进行分割开来，每个工程独立运行，互不干扰。

下面介绍下这个模块：

1. 第一个模块：Insight（解析）

根据上图可看出：

序号3：是可以输入SQL语句的，Kylin就是把NoSQL的数据库增加了一个SQL语言解析器，可以让开发人员直接输入SQL语句进行查询数据，是当查询SQL语句进行提交之后，序号1位置就会显示查询结果。

序号2：会显示数据库，点击数据库就会显示所有的数据表，点击数据表就会显示所有的数据字段， 数据表和字段进行双击可以显示在序号3的位置，免需要手动输入了，很方便。

序号1：显示序号3进行提交后的结果，结果可以显示多个，没提交一个会产生一个结果

2. 第二个模块Model（模型）

此模块功能甚多， 基本重要的都在这个模块这里。

这里面包含：Models（模型）和Data Source（数据源）两个标签页

DataSource可以添加数据源，

添加数据源是从Hbase中加载数据，加载数据库数据字段等，具体操作请看官方文档，很Easy。

选中Models之后可以创建Model（模型）、Cube（立方体）、Hybrid（混合）

1) 创建Model（模型）

2) 创建Cube（立方体）

a) CubeInfo：创建立方体的基本型信息

这里面包含：

Model Name 模型名称

Cube Name 立方体名称（请使用小写字母或数字或者下划线）

Notification Email List 通知邮箱列表（cube创建时比较耗费时间的，一个人不能再这等着，还需要去做其他事情，所以可以设置邮件通知，它成功之后，就会以邮件的方式通知您）

Notification Events 通知事件（通知在什么时候发送呢，你可以设置多种级别，例如出错了，成功了等）

Description 说明（请说明下这个cube是做什么的等）

b) Dimensions 创建立方体的维度

选择添加维度，维度字段是从你创建的model中获取的，维度创建多少个是由model选择的维度字段来决定的

c) Measures 创建立方体的度量

选择添加度量，度量字段是从你创建的model中获取的，度量创建多少个是由model选择的度量字段来决定的。

度量可以设置聚合和普通（不做任何处理）

d) Refresh Setting 刷新设置

这一步骤是为增量构建 cube 而设计的。

Auto Merge Thresholds: kylin会根据设置的阈值向上检查,如果有连续的segments时间范围超过阈值就会进行合并。

例如：设置了7天和28天还有5小时， 则连续的5个小时的超过阈值，则就进行合并，如果7连续7天又有差超过阈值的则又进行合并，如果连续28天也有超过阈值的也进行合并。

Volatile Range: 默认为0，会自动合并所有可能的 cube segments，或者用 ‘Auto Merge’ 将不会合并最新的 [Volatile Range] 天的 cube segments。

Retention Threshold: 只会保存 cube 过去几天的 segment，旧的 segment 将会自动从头部删除；0表示不启用这个功能。

保留最近设置阈值的cube segments个数，默认是0,它会保留所有历史构建的cube segments。

Partition Start Date: cube 的开始日期

e) Advanced Setting 高级设置

详细教程请访问：http://kylin.apache.org/cn/docs/tutorial/create_cube.html

3) 创建Hybrid（混合）