大数据之Kylin

目录

一、概述

二、架构

三、核心概念

1、数据仓库

2、OLAP

3、BI

4、维度和度量

5、事实表和维度表

6、Cube、Cuboid和Cube Segment

---

一、概述

        Apache Kylin™是一个开源的、分布式的分析型数据仓库，提供 Hadoop 之上的 SQL 查询接口及多维分析（OLAP）能力以支持超大规模数据，最初由eBay Inc.开发并贡献至开源社区。

二、架构

        

三、核心概念

在学习之前，我们有必要先了解一下Kylin的一些各种概念和术语

1、数据仓库

        数据仓库（Data Warehouse）简称DW或DWH，是数据库的一种概念上的升级，可以说是为满足新需求设计的一种新数据库，而这个数据库是需容纳更多的数据，更加庞大的数据集，从逻辑上讲数据仓库和数据库是没有什么区别的。

2、OLAP

        OLAP（Online Analytical Process），联机分析处理，以多维度的方式分析数据。在实际应用中存在广义和狭义两种不同的理解方式。 广义上的理解与字面上的意思相同，泛指一切不会对数据进行更新的分 析处理。但更多的情况下OLAP被理解为其狭义上的含义，即与多维分析 相关，基于立方体（Cube）计算而进行的分析。

3、BI

        BI（Business Intelligence），即商务智能，指用现代数据仓库技术、在 线分析技术、数据挖掘和数据展现技术进行数据分析以实现商业价值。

4、维度和度量

            4.1、维度：就是看事情的角度，比如某个时间段 某个部门 某个地区的监管行为数。时间，部门， 地区都是维度字段。

            4.2、度量：统计量，比如行为数，count distinct 行为编号。行为编号就是度量字段。

5、事实表和维度表

           5.1、事实表（Fact Table）是指存储有事实记录的表，如系统日志、销售记 录等；事实表的记录在不断地动态增长，所以它的体积通常远大于其他 表。

           5.2、维度表（Dimension Table）或维表，有时也称查找表（Lookup Table）， 是与事实表相对应的一种表；它保存了维度的属性值，可以跟事实表做关 联；相当于将事实表上经常重复出现的属性抽取、规范出来用一张表进行 管理。常见的维度表有：日期表（存储与日期对应的周、月、季度等的属 性）、地点表（包含国家、省／州、城市等属性）等。

6、Cube、Cuboid和Cube Segment

           6.1、Cube（或Data Cube），即数据立方体，是一种常用于数据分析与索引 的技术；它可以对原始数据建立多维度索引。通过Cube对数据进行分析， 可以大大加快数据的查询效率。

          例如：三维图分地区，品类，和时间三个维度，一个cube就是这三维图形的大的立方体。

              

           6.2、Cuboid在Kylin中特指在某一种维度组合下所计算的数据。 一个cuboid可以是一维，二维，三维组成的。

           6.3、Cube Segment是指针对源数据中的某一个片段，计算出来的Cube数 据。通常数据仓库中的数据数量会随着时间的增长而增长，而Cube Segment也是按时间顺序来构建的。

           6.4、三者之间的关系

           Kylin将Cube划分为多个Segment（对应就是HBase中的一个表），每个Segment用起始时间和结束时间来标志。Segment代表一段时间内源数据的预计算结果。一个Segment的起始时间等于它之前那个Segment的结束时间，同理，它的结束时间等于它后面那个Segment的起始时间。同一个Cube下不同的Segment除了背后的源数据不同之外，其他如结构定义、构建过程、优化方法、存储方式等都完全相同。