Kylin的cube模型

转载 2016年08月31日 16:25:08
http://www.cnblogs.com/en-heng/p/5239311.html

Kylin的cube模型

1. 数据仓库的相关概念

OLAP

大部分数据库系统的主要任务是执行联机事务处理和查询处理,这种处理被称为OLTP(Online Transaction Processing, OLTP),面向的是顾客,诸如:办事员、DBA等。而数据仓库主要面向知识工人(如经理、主管等)提供数据分析处理,这种处理被称为OLAP(Online Analysis Processing)。OLTP管理的是当前数据,比较琐碎,很难用于做决策。而OLAP管理的是大量历史数据,提供汇总与聚集机制,并在不同的维度、不同的粒度存储和管理信息。

特征 OLTP OLAP
面向 办事员、DBA 知识工人
DB设计 基于ER,面向应用 星形/雪花,面向主题
数据 当前的、确保更新 历史的、跨时间维护
视图 详细、一般关系 汇总的、多维的
访问 读/写 大多数为读
度量 事务吞吐量 查询吞吐量、访问时间

举个简单的例子:我们会用OLTP去管理app名称与app类别的映射关系;而分析某一周app(和app类别)的UV,则会使用OLAP;并且OLAP提供了数据的多维观察——比如:在某周在华为手机上top100用户的APP

Fact Table

事实表(Fact Table)是中心表,包含了大批数据并不冗余,其数据列可分为两类:

  • 包含大量数据事实的列;
  • 与维表(Dimension Table)的primary key相对应的foreign key。

Lookup Table

Lookup Table包含对事实表的某些列进行扩充说明的字段。在Kylin的quick start中给出sample cube(kylin_sales_cube)——其Fact Table为购买记录,lookup table有两个:用于对购买日期PART_DT、商品的LEAF_CATEG_ID与LSTG_SITE_ID字段进行扩展说明。

Dimension

维表(Dimension Table)是由fact table与lookup table逻辑抽象出来的表,包含了多个相关的列(即dimension),以提供对数据的多维观察;其中dimension的值的数目称为cardinatily。在kylin_sales_cube的事实表的LSTG_FORMAT_NAME被单独抽出来做一个dimension,可与其他维度组合分析数据。

Star Schema

星形模式(Star Schema)包含一个或多个事实表、一组维表,其中维表的primary key与事实表的foreign key相对应。这种模式很像星光四射,维表显示在围绕事实表的射线上。下图是我根据某数据源所建立的星形模式:

Cube

cube是所有的dimensions组合,任一dimensions的组合称为cuboid。因此,包含\(n\)个dimensions的cube有\(2^n\)个cuboid,如下图所示:

2. Kylin介绍

Dimension

为了减少cuboid的数目,Kylin将Dimension分为四种类型:

  • Normal,为最常见的类型,与所有其他的dimension组合构成cuboid。
  • Mandatory,在每一次查询中都会用到dimension,在下图中A为Mandatory dimension,则与B、C总共构成了4个cuboid,相较于normal dimension的cuboid(\(2^3=8\))减少了一半。

  • Hierarchy,为带层级的dimension,比如说:省份->城市, 年->季度->月->周->日;以用于做drill down。

  • Derived,指该dimensions与维表的primary key是一一对应关系,可以更有效地减少cuboid数量,详细的解释参看这里;并且derived dimension只能由lookup table的列生成。


然而,Kylin的Hierarchy dimensions并没有做集合包含约束,比如:kylin_sales_cube定义Hierarchy dimension为META_CATEG_NAME->CATEG_LVL2_NAME->CATEG_LVL3_NAME,但是同一个CATEG_LVL2_NAME可以对应不同META_CATEG_NAME。因此,hierarchy 显得非常鸡肋,以至于在Kylin后台处理时被废弃了(详见Li Yang在mail group中所说):

@Julian, plan to refactor the underlying aggregation group in Q4. Will drop
hierarchy concept in the backend, however in the frontend for ease of
understanding, may still call it hierarchy.

Measure

Measure为事实表的列度量,Kylin提供诸如:

  • Sum
  • Count
  • Max
  • Min
  • Average
  • Distinct Count (based on HyperLogLog)

等函数,一般配合group by dimesion使用。

3. 实战

下面的SQL语句是在kylin_sales_cube build成功后执行的。

sql命令select * from kylin_sales,得到fact table所缓存的列——均为dimension的主key、measure中所需计算的字段。

各个时间段内的销售额及购买量:

select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers 
from kylin_sales 
group by part_dt 
order by part_dt

查询某一时间的销售额及购买量,

select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers 
from kylin_sales
where  part_dt = '2014-01-01'
group by part_dt

发现报错:

Error while compiling generated Java code: 
public static class Record3_0 implements java.io.Serializable {            public java.math.BigDecimal f0; 
    public boolean f1; 
    public org.apache.kylin.common.hll.HyperLogLogPlusCounter f2;          public Record3_0(java.math.BigDecimal f0, boolean f1, ...

这是因为part_dt是date类型,在解析string到date的时候出问题,应将sql语句改为:

select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers 
from kylin_sales
where part_dt between '2014-01-01' and '2014-01-01'
group by part_dt

-- or
select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers 
from kylin_sales
where part_dt = date '2014-01-01'
group by part_dt

上面查询只用到了fact table,而没有用到lookup table。如果查询各个时间段所有二级商品类型的销售额,则需要fact table与lookup table做inner join:

select fact.part_dt, lookup.CATEG_LVL2_NAME, count(distinct seller_id) as sellers
from kylin_sales fact
inner join KYLIN_CATEGORY_GROUPINGS lookup 
on fact.LEAF_CATEG_ID = lookup.LEAF_CATEG_ID and fact.LSTG_SITE_ID = lookup.SITE_ID
group by fact.part_dt, lookup.CATEG_LVL2_NAME
order by fact.part_dt desc

4. 参考资料

[1] 韩家炜,《数据挖掘——概念与技术》.
[2] 教练_我要踢球, OLAP引擎——Kylin介绍.
[3] Kylin, Design Cube in Kylin.

举报

相关文章推荐

Kylin的cube模型

http://www.cnblogs.com/en-heng/p/5239311.html Kylin的cube模型 ...

【Kylin】Kylin中的cube构建

kylin如何构建cube的,从原始数据(hive)到目标数据(hbase)的过程。

精选:深入理解 Docker 内部原理及网络配置

网络绝对是任何系统的核心,对于容器而言也是如此。Docker 作为目前最火的轻量级容器技术,有很多令人称道的功能,如 Docker 的镜像管理。然而,Docker的网络一直以来都比较薄弱,所以我们有必要深入了解Docker的网络知识,以满足更高的网络需求。

Kylin - 剪枝优化及其方法

为什么要进行剪枝优化?在没有采取任何的优化措施的时候,Kylin会对每一个维度组合进行预计算,若有4个维度,则会有将近2^4 = 16个Cuboid需要进行计算。但是我们知道很多维度是: 1.不需要参...

Kylin Cube设计优化

Cubes设计优化原文地址:http://kylin.apache.org/docs/howto/howto_optimize_cubes.html层次结构(Hierarchies)理论上对于N个维度...

Apache Kylin Cube构建算法

逐层算法 在介绍快速Cube算法之前,我们先简单回顾一下现有的算法,也称之为“逐层算法”(By Layer Cubing)。 我们知道,一个N维的完全Cube,是由:1个N维子立方体(Cu...

《Apache Kylin cube优化指南》

1.生产场景 号称亚秒级的大数据分析引擎---Apache Kylin就要投产了,但这只OLAP中的神兽,在build数据的时候,速度奇慢且太耗空间,大概一个月的数据,build将近半个小时,且大小将...

《KyLin学习理解》-02-KyLin的网页界面使用

1。根据上一张分析的内容得知。 涉及到的字段是    pro表的      字段: ID 商品名称 价格 购买数量 付款 类别ID 时间      聚合函数:sum(num) ,...

Apache Kylin Buid Cube详细流程

Build Cube流程主要分为四个阶段: 根据用户的cube信息计算出多个cuboid文件根据cuboid文件生成htable更新cube信息回收临时文件 1.流程一:作业整体描述 ...

Kylin Cube构建过程优化

原文地址:https://kylin.apache.org/docs16/howto/howto_optimize_build.htmlKylin将一个cube的build过程分解为若干个子步骤,然后...
  • skyyws
  • skyyws
  • 2017-02-08 10:18
  • 1615

Kylin 使用RESTful API进行cube的增量更新

一、生成鉴权文件,之后每一步都需要使用cookfile.txtcurl -c cookfile.txt -X POST \ -H "Authorization:Basic QURNSU46S1lMSU...
返回顶部
收藏助手
不良信息举报
您举报文章:深度学习:神经网络中的前向传播和反向传播算法推导
举报原因:
原因补充:

(最多只允许输入30个字)