关闭

Kylin的cube模型

标签: 数据仓库kylin数据库事务cube
552人阅读 评论(0) 收藏 举报
分类:
http://www.cnblogs.com/en-heng/p/5239311.html

Kylin的cube模型

1. 数据仓库的相关概念

OLAP

大部分数据库系统的主要任务是执行联机事务处理和查询处理,这种处理被称为OLTP(Online Transaction Processing, OLTP),面向的是顾客,诸如:办事员、DBA等。而数据仓库主要面向知识工人(如经理、主管等)提供数据分析处理,这种处理被称为OLAP(Online Analysis Processing)。OLTP管理的是当前数据,比较琐碎,很难用于做决策。而OLAP管理的是大量历史数据,提供汇总与聚集机制,并在不同的维度、不同的粒度存储和管理信息。

特征 OLTP OLAP
面向 办事员、DBA 知识工人
DB设计 基于ER,面向应用 星形/雪花,面向主题
数据 当前的、确保更新 历史的、跨时间维护
视图 详细、一般关系 汇总的、多维的
访问 读/写 大多数为读
度量 事务吞吐量 查询吞吐量、访问时间

举个简单的例子:我们会用OLTP去管理app名称与app类别的映射关系;而分析某一周app(和app类别)的UV,则会使用OLAP;并且OLAP提供了数据的多维观察——比如:在某周在华为手机上top100用户的APP

Fact Table

事实表(Fact Table)是中心表,包含了大批数据并不冗余,其数据列可分为两类:

  • 包含大量数据事实的列;
  • 与维表(Dimension Table)的primary key相对应的foreign key。

Lookup Table

Lookup Table包含对事实表的某些列进行扩充说明的字段。在Kylin的quick start中给出sample cube(kylin_sales_cube)——其Fact Table为购买记录,lookup table有两个:用于对购买日期PART_DT、商品的LEAF_CATEG_ID与LSTG_SITE_ID字段进行扩展说明。

Dimension

维表(Dimension Table)是由fact table与lookup table逻辑抽象出来的表,包含了多个相关的列(即dimension),以提供对数据的多维观察;其中dimension的值的数目称为cardinatily。在kylin_sales_cube的事实表的LSTG_FORMAT_NAME被单独抽出来做一个dimension,可与其他维度组合分析数据。

Star Schema

星形模式(Star Schema)包含一个或多个事实表、一组维表,其中维表的primary key与事实表的foreign key相对应。这种模式很像星光四射,维表显示在围绕事实表的射线上。下图是我根据某数据源所建立的星形模式:

Cube

cube是所有的dimensions组合,任一dimensions的组合称为cuboid。因此,包含\(n\)个dimensions的cube有\(2^n\)个cuboid,如下图所示:

2. Kylin介绍

Dimension

为了减少cuboid的数目,Kylin将Dimension分为四种类型:

  • Normal,为最常见的类型,与所有其他的dimension组合构成cuboid。
  • Mandatory,在每一次查询中都会用到dimension,在下图中A为Mandatory dimension,则与B、C总共构成了4个cuboid,相较于normal dimension的cuboid(\(2^3=8\))减少了一半。

  • Hierarchy,为带层级的dimension,比如说:省份->城市, 年->季度->月->周->日;以用于做drill down。

  • Derived,指该dimensions与维表的primary key是一一对应关系,可以更有效地减少cuboid数量,详细的解释参看这里;并且derived dimension只能由lookup table的列生成。


然而,Kylin的Hierarchy dimensions并没有做集合包含约束,比如:kylin_sales_cube定义Hierarchy dimension为META_CATEG_NAME->CATEG_LVL2_NAME->CATEG_LVL3_NAME,但是同一个CATEG_LVL2_NAME可以对应不同META_CATEG_NAME。因此,hierarchy 显得非常鸡肋,以至于在Kylin后台处理时被废弃了(详见Li Yang在mail group中所说):

@Julian, plan to refactor the underlying aggregation group in Q4. Will drop
hierarchy concept in the backend, however in the frontend for ease of
understanding, may still call it hierarchy.

Measure

Measure为事实表的列度量,Kylin提供诸如:

  • Sum
  • Count
  • Max
  • Min
  • Average
  • Distinct Count (based on HyperLogLog)

等函数,一般配合group by dimesion使用。

3. 实战

下面的SQL语句是在kylin_sales_cube build成功后执行的。

sql命令select * from kylin_sales,得到fact table所缓存的列——均为dimension的主key、measure中所需计算的字段。

各个时间段内的销售额及购买量:

select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers 
from kylin_sales 
group by part_dt 
order by part_dt

查询某一时间的销售额及购买量,

select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers 
from kylin_sales
where  part_dt = '2014-01-01'
group by part_dt

发现报错:

Error while compiling generated Java code: 
public static class Record3_0 implements java.io.Serializable {            public java.math.BigDecimal f0; 
    public boolean f1; 
    public org.apache.kylin.common.hll.HyperLogLogPlusCounter f2;          public Record3_0(java.math.BigDecimal f0, boolean f1, ...

这是因为part_dt是date类型,在解析string到date的时候出问题,应将sql语句改为:

select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers 
from kylin_sales
where part_dt between '2014-01-01' and '2014-01-01'
group by part_dt

-- or
select part_dt, sum(price) as total_selled, count(distinct seller_id) as sellers 
from kylin_sales
where part_dt = date '2014-01-01'
group by part_dt

上面查询只用到了fact table,而没有用到lookup table。如果查询各个时间段所有二级商品类型的销售额,则需要fact table与lookup table做inner join:

select fact.part_dt, lookup.CATEG_LVL2_NAME, count(distinct seller_id) as sellers
from kylin_sales fact
inner join KYLIN_CATEGORY_GROUPINGS lookup 
on fact.LEAF_CATEG_ID = lookup.LEAF_CATEG_ID and fact.LSTG_SITE_ID = lookup.SITE_ID
group by fact.part_dt, lookup.CATEG_LVL2_NAME
order by fact.part_dt desc

4. 参考资料

[1] 韩家炜,《数据挖掘——概念与技术》.
[2] 教练_我要踢球, OLAP引擎——Kylin介绍.
[3] Kylin, Design Cube in Kylin.

0
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

Kylin使用之创建Cube和高级设置

Cube模型和Kylin创建Cube时的高级设置,Rowkey、维度组、维度字典等。
  • yu616568
  • yu616568
  • 2016-01-23 17:22
  • 12683

Kylin 使用RESTful API进行cube的增量更新

一、生成鉴权文件,之后每一步都需要使用cookfile.txtcurl -c cookfile.txt -X POST \ -H "Authorization:Basic QURNSU46S1lMSU4=" \ -H "Content-Type: application...
  • polaris_1
  • polaris_1
  • 2017-01-16 18:13
  • 1868

Cube和Kylin创建Cube的过程

转载:http://www.aboutyun.com/thread-20757-1-1.html 简介   Kylin作为一个OLAP引擎,需要Cube模型支撑,在我们的工作过程中,在和用户以及相关的开发人员、测试、产品等介绍Kylin的过程中,他们总是会对Cube的模型有一...
  • xiaoshunzi111
  • xiaoshunzi111
  • 2017-05-03 18:05
  • 389

【Kylin】Kylin中的cube构建

kylin如何构建cube的,从原始数据(hive)到目标数据(hbase)的过程。
  • yu616568
  • yu616568
  • 2015-12-20 19:14
  • 12871

Kylin源码解析——Cube构建过程中如何实现降维

-维度简述Kylin中Cube的描述类CubeDesc有两个字段,rowkey和aggregationGroups。@JsonProperty("rowkey") private RowKeyDesc rowkey;@JsonProperty("aggregation_...
  • qq_21653785
  • qq_21653785
  • 2017-06-26 00:00
  • 828

Apache Kylin原理学习之Cube的创建与Build

原文地址:http://lxw1234.com/archives/2016/05/655.htm Cube是一种典型的多维数据分析技术,一个Cube可以有多个事实表,多个维表构成。如果您还不了解这些概念,建议您搜索下数据仓库、OLAP、Cube、星型模型、事实表、维度表等等。比如一个简单例子,分析...
  • github_38358734
  • github_38358734
  • 2017-04-26 14:37
  • 1049

Kylin使用之创建Cube和高级设置

简介   Kylin作为一个OLAP引擎,需要Cube模型支撑,在我们的工作过程中,在和用户以及相关的开发人员、测试、产品等介绍Kylin的过程中,他们总是会对Cube的模型有一些疑惑,作为经常接触这个概念的我来说这是再明了不过的了,而他们还是会在我讲解多次之后表示还在云里雾里,所以就希望通过...
  • zyj8170
  • zyj8170
  • 2016-09-14 16:16
  • 441

Kylin Cube构建过程优化

原文地址:https://kylin.apache.org/docs16/howto/howto_optimize_build.htmlKylin将一个cube的build过程分解为若干个子步骤,然后串行执行这些子步骤。这些步骤包括Hive操作,MR任务和其他类型的工作。如果每天都有许多cube进行...
  • skyyws
  • skyyws
  • 2017-02-08 10:18
  • 3042

kylin入门到实战:cube详述

版权申明:转载请注明出处。 文章来源:http://bigdataer.net/?p=306 排版乱?请移步原文获得更好的阅读体验 1.什么是cube? cube是所有dimession的组合,每一种dimession的组合称之为cuboid。某一有n个dimession的c...
  • lgdlxc
  • lgdlxc
  • 2017-04-14 11:24
  • 767

【转】备份Kylin的元数据

http://blog.csdn.net/jiangshouzhuang/article/details/51290239   Kylin组织它所有的元数据(包括cube descriptions and instances, projects, inverted index ...
  • u012841509
  • u012841509
  • 2017-02-23 17:40
  • 586
    个人资料
    • 访问:223731次
    • 积分:3495
    • 等级:
    • 排名:第11062名
    • 原创:131篇
    • 转载:38篇
    • 译文:6篇
    • 评论:51条
    博客专栏