Kylin的cube模型

转载 2016年08月31日 16:25:08
http://www.cnblogs.com/en-heng/p/5239311.html

Kylin的cube模型

1. 数据仓库的相关概念

OLAP

大部分数据库系统的主要任务是执行联机事务处理和查询处理,这种处理被称为OLTP(Online Transaction Processing, OLTP),面向的是顾客,诸如:办事员、DBA等。而数据仓库主要面向知识工人(如经理、主管等)提供数据分析处理,这种处理被称为OLAP(Online Analysis Processing)。OLTP管理的是当前数据,比较琐碎,很难用于做决策。而OLAP管理的是大量历史数据,提供汇总与聚集机制,并在不同的维度、不同的粒度存储和管理信息。

特征 OLTP OLAP
面向 办事员、DBA 知识工人
DB设计 基于ER,面向应用 星形/雪花,面向主题
数据 当前的、确保更新 历史的、跨时间维护
视图 详细、一般关系 汇总的、多维的
访问 读/写 大多数为读
度量 事务吞吐量 查询吞吐量、访问时间

举个简单的例子:我们会用OLTP去管理app名称与app类别的映射关系;而分析某一周app(和app类别)的UV,则会使用OLAP;并且OLAP提供了数据的多维观察——比如:在某周在华为手机上top100用户的APP

Fact Table

事实表(Fact Table)是中心表,包含了大批数据并不冗余,其数据列可分为两类:

  • 包含大量数据事实的列;
  • 与维表(Dimension Table)的primary key相对应的foreign key。

Lookup Table

Lookup Table包含对事实表的某些列进行扩充说明的字段。在Kylin的quick start中给出sample cube(kylin_sales_cube)——其Fact Table为购买记录,lookup table有两个:用于对购买日期PART_DT、商品的LEAF_CATEG_ID与LSTG_SITE_ID字段进行扩展说明。

Dimension

维表(Dimension Table)是由fact table与lookup table逻辑抽象出来的表,包含了多个相关的列(即dimension),以提供对数据的多维观察;其中dimension的值的数目称为cardinatily。在kylin_sales_cube的事实表的LSTG_FORMAT_NAME被单独抽出来做一个dimension,可与其他维度组合分析数据。

Star Schema

星形模式(Star Schema)包含一个或多个事实表、一组维表,其中维表的primary key与事实表的foreign key相对应。这种模式很像星光四射,维表显示在围绕事实表的射线上。下图是我根据某数据源所建立的星形模式:

Cube

cube是所有的dimensions组合,任一dimensions的组合称为cuboid。因此,包含\(n\)个dimensions的cube有\(2^n\)个cuboid,如下图所示:

2. Kylin介绍

Dimension

为了减少cuboid的数目,Kylin将Dimension分为四种类型:

  • Normal,为最常见的类型,与所有其他的dimension组合构成cuboid。
  • Mandatory,在每一次查询中都会用到dimension,在下图中A为Mandatory dimension,则与B、C总共构成了4个cuboid,相较于normal dimension的cuboid(\(2^3=8\))减少了一半。

  • Hierarchy,为带层级的dimension,比如说:省份->城市, 年->季度->月->周->日;以用于做drill down。

  • Derived,指该dimensions与维表的primary key是一一对应关系,可以更有效地减少cuboid数量,详细的解释参看这里;并且derived dimension只能由lookup table的列生成。


然而,Kylin的Hierarchy dimensions并没有做集合包含约束,比如:kylin_sales_cube定义Hierarchy dimension为META_CATEG_NAME->CATEG_LVL2_NAME->CATEG_LVL3_NAME,但是同一个CATEG_LVL2_NAME可以对应不同META_CATEG_NAME。因此,hierarchy 显得非常鸡肋,以至于在Kylin后台处理时被废弃了(详见Li Yang在mail group中所说):

@Julian, plan to refactor the underlying aggregation group in Q4. Will drop
hierarchy concept in the backend, however in the frontend for ease of
understanding, may still call it hierarchy.

Measure

Measure为事实表的列度量,Kylin提供诸如:

  • Sum
  • Count
  • Max
  • Min
  • Average
  • Distinct Count (based on HyperLogLog)

等函数,一般配合group by dimesion使用。

3. 实战

下面的SQL语句是在kylin_sales_cube build成功后执行的。

sql命令select * from kylin_sales,得到fact table所缓存的列——均为dimension的主key、measure中所需计算的字段。

各个时间段内的销售额及购买量:

select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers 
from kylin_sales 
group by part_dt 
order by part_dt

查询某一时间的销售额及购买量,

select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers 
from kylin_sales
where  part_dt = '2014-01-01'
group by part_dt

发现报错:

Error while compiling generated Java code: 
public static class Record3_0 implements java.io.Serializable {            public java.math.BigDecimal f0; 
    public boolean f1; 
    public org.apache.kylin.common.hll.HyperLogLogPlusCounter f2;          public Record3_0(java.math.BigDecimal f0, boolean f1, ...

这是因为part_dt是date类型,在解析string到date的时候出问题,应将sql语句改为:

select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers 
from kylin_sales
where part_dt between '2014-01-01' and '2014-01-01'
group by part_dt

-- or
select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers 
from kylin_sales
where part_dt = date '2014-01-01'
group by part_dt

上面查询只用到了fact table,而没有用到lookup table。如果查询各个时间段所有二级商品类型的销售额,则需要fact table与lookup table做inner join:

select fact.part_dt, lookup.CATEG_LVL2_NAME, count(distinct seller_id) as sellers
from kylin_sales fact
inner join KYLIN_CATEGORY_GROUPINGS lookup 
on fact.LEAF_CATEG_ID = lookup.LEAF_CATEG_ID and fact.LSTG_SITE_ID = lookup.SITE_ID
group by fact.part_dt, lookup.CATEG_LVL2_NAME
order by fact.part_dt desc

4. 参考资料

[1] 韩家炜,《数据挖掘——概念与技术》.
[2] 教练_我要踢球, OLAP引擎——Kylin介绍.
[3] Kylin, Design Cube in Kylin.

相关文章推荐

Kylin 环境 搭建 成功 ,bulid Cube 成功

搭建各个组建版本 centos 6.5 hadoop  2.5.1 hive   1.2.1    注意 jline 问题   myaql 驱动 mysql  yum 安装的 ,版本基本不需要...

JDBC 简介

  1JDBCJBCD(JavaDatabaseConnectivity)一、概述:JDBC 从物理结构上说就是Java 语言访问数据库的一套接口集合。从本质上来说就是调用者(程序员)和实行者(数据库...

Kylin Cube构建过程优化

原文地址:https://kylin.apache.org/docs16/howto/howto_optimize_build.htmlKylin将一个cube的build过程分解为若干个子步骤,然后...
  • skyyws
  • skyyws
  • 2017年02月08日 10:18
  • 2387

Kylin使用之创建Cube和高级设置

简介   Kylin作为一个OLAP引擎,需要Cube模型支撑,在我们的工作过程中,在和用户以及相关的开发人员、测试、产品等介绍Kylin的过程中,他们总是会对Cube的模型有一些疑惑,作为经常...
  • zyj8170
  • zyj8170
  • 2016年09月14日 16:16
  • 361

Kylin构建cube时状态一直处于pending

在安装好kylin之后我直接去访问web监控页面发现能够进去,也没有去看日志。然后在运行官方带的例子去bulid cube时去发现状态一直是pending而不是runing。这个时候才去查看日志: ...

Apache Kylin优化之—Cube的高级设置

转载:http://bigdata.51cto.com/art/201705/538648.htm 根据本系列的原理介绍,在Kylin的高级设置中,用户可以根据查询需求对Cube构建...

Kylin使用之创建Cube和高级设置

Cube模型和Kylin创建Cube时的高级设置,Rowkey、维度组、维度字典等。
  • yu616568
  • yu616568
  • 2016年01月23日 17:22
  • 11335

Apache Kylin Cube构建算法

逐层算法 在介绍快速Cube算法之前,我们先简单回顾一下现有的算法,也称之为“逐层算法”(By Layer Cubing)。 我们知道,一个N维的完全Cube,是由:1个N维子立方体(Cu...

HBase - KYlin build cube时出现问题的汇总

1.在单条非空数据时出现null值而导致报错Vertex failed, vertexName=Map 1, vertexId=vertex_1494251465823_0017_1_01, diag...

《Apache Kylin cube优化指南》

1.生产场景 号称亚秒级的大数据分析引擎---Apache Kylin就要投产了,但这只OLAP中的神兽,在build数据的时候,速度奇慢且太耗空间,大概一个月的数据,build将近半个小时,且大小将...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Kylin的cube模型
举报原因:
原因补充:

(最多只允许输入30个字)