数据仓库的架构与设计

16人阅读 评论(0) 收藏 举报
分类:


 

数据仓库的架构与设计

标签: 数据仓库 架构 多维数据模型
13067人阅读 评论(5) 收藏 举报
 分类:
大数据(12) 

目录(?)[+]

公司之前的数据都是直接传到Hdfs上进行操作,没有一个数据仓库,趁着最近空出几台服务器,搭了个简陋的数据仓库,这里记录一下数据仓库的一些知识。涉及的主要内容有:

  1. 什么是数据仓库?
  2. 数据仓库的架构
  3. 数据仓库多维数据模型的设计

1. 什么是数据仓库

1.1 数据仓库的概念

官方定义

数据仓库是一个面向主题的、集成的、随时间变化的、但信息本身相对稳定的数据集合,用于对管理决策过程的支持。

这个定义的确官方,但是却指出了数据仓库的四个特点。

特点

面向主题:数据仓库都是基于某个明确主题,仅需要与该主题相关的数据,其他的无关细节数据将被排除掉 
集成的:从不同的数据源采集数据到同一个数据源,此过程会有一些ETL操作 
随时间变化:关键数据隐式或显式的基于时间变化 
信息本身相对稳定:数据装入以后一般只进行查询操作,没有传统数据库的增删改操作

个人理解

数据仓库就是整合多个数据源的历史数据进行细粒度的、多维的分析,帮助高层管理者或者业务分析人员做出商业战略决策或商业报表。

1.2 数据仓库的用途

  • 整合公司所有业务数据,建立统一的数据中心
  • 产生业务报表,用于作出决策
  • 为网站运营提供运营上的数据支持
  • 可以作为各个业务的数据源,形成业务数据互相反馈的良性循环
  • 分析用户行为数据,通过数据挖掘来降低投入成本,提高投入效果
  • 开发数据产品,直接或间接地为公司盈利

1.3 数据库和数据仓库的区别

差异项数据库数据仓库
特征操作处理信息处理
面向事务分析
用户DBA、开发经理、主管、分析人员
功能日常操作长期信息需求、决策支持
DB设计基于ER模型,面向应用星形/雪花模型,面向主题
数据当前的、最新的历史的、跨时间维护
汇总原始的、高度详细汇总的、统一的
视图详细、一般关系汇总的、多维的
工作单元短的、简单事务复杂查询
访问读/写大多为读
关注数据进入信息输出
操作主键索引操作大量的磁盘扫描
用户数数百到数亿数百
DB规模GB到TB>=TB
优先高性能、高可用性高灵活性
度量事务吞吐量查询吞吐量、响应时间

2. 数据仓库的架构

2.1 当前架构

当前我们的数据仓库架构很low,但是能实现基本功能,如下: 
这里写图片描述

数据采集

数据采集层的任务就是把数据从各种数据源中采集和存储到数据存储上,期间有可能会做一些ETL操作。

数据源种类可以有多种:

  • 日志:所占份额最大,存储在备份服务器上
  • 业务数据库:如Mysql、Oracle
  • 来自HTTP/FTP的数据:合作伙伴提供的接口
  • 其他数据源:如Excel等需要手工录入的数据

数据存储与分析

HDFS是大数据环境下数据仓库/数据平台最完美的数据存储解决方案。

离线数据分析与计算,也就是对实时性要求不高的部分,Hive是不错的选择。

使用Hadoop框架自然而然也提供了MapReduce接口,如果真的很乐意开发Java,或者对SQL不熟,那么也可以使用MapReduce来做分析与计算。

Spark性能比MapReduce好很多,同时使用SparkSQL操作Hive。

数据共享

前面使用Hive、MR、Spark、SparkSQL分析和计算的结果,还是在HDFS上,但大多业务和应用不可能直接从HDFS上获取数据,那么就需要一个数据共享的地方,使得各业务和产品能方便的获取数据。 
这里的数据共享,其实指的是前面数据分析与计算后的结果存放的地方,其实就是关系型数据库和NOSQL数据库。

数据应用

报表:报表所使用的数据,一般也是已经统计汇总好的,存放于数据共享层。

接口:接口的数据都是直接查询数据共享层即可得到。

即席查询:即席查询通常是现有的报表和数据共享层的数据并不能满足需求,需要从数据存储层直接查询。一般都是通过直接操作SQL得到。

2.2 理想架构

自己的架构这么低级不能误导了读者,所以给出主流公司会用到的一个架构图: 
这里写图片描述

增加了以下内容:

数据采集:采用Flume收集日志,采用Sqoop将RDBMS以及NoSQL中的数据同步到HDFS上

消息系统:可以加入Kafka防止数据丢失

实时计算:实时计算使用Spark Streaming消费Kafka中收集的日志数据,实时计算结果大多保存在Redis中

机器学习:使用了Spark MLlib提供的机器学习算法

多维分析OLAP:使用Kylin作为OLAP引擎

数据可视化:提供可视化前端页面,方便运营等非开发人员直接查询

3. 数据仓库多维数据模型的设计

3.1 基本概念

主题(Subject)

主题就是指我们所要分析的具体方面。例如:某年某月某地区某机型某款App的安装情况。主题有两个元素:一是各个分析角度(维度),如时间位置;二是要分析的具体量度,该量度一般通过数值体现,如App安装量。

维(Dimension)

维是用于从不同角度描述事物特征的,一般维都会有多层(Level:级别),每个Level都会包含一些共有的或特有的属性(Attribute),可以用下图来展示下维的结构和组成:

这里写图片描述

以时间维为例,时间维一般会包含年、季、月、日这几个Level,每个Level一般都会有ID、NAME、DESCRIPTION这几个公共属性,这几个公共属性不仅适用于时间维,也同样表现在其它各种不同类型的维。

分层(Hierarchy)

OLAP需要基于有层级的自上而下的钻取,或者自下而上地聚合。所以我们一般会在维的基础上再次进行分层,维、分层、层级的关系如下图:

这里写图片描述

每一级之间可能是附属关系(如市属于省、省属于国家),也可能是顺序关系(如天周年),如下图所示:

这里写图片描述

这里写图片描述

量度

量度就是我们要分析的具体的技术指标,诸如年销售额之类。它们一般为数值型数据。我们或者将该数据汇总,或者将该数据取次数、独立次数或取最大最小值等,这样的数据称为量度。

粒度 
数据的细分层度,例如按天分按小时分。

事实表和维表

事实表是用来记录分析的内容的全量信息的,包含了每个事件的具体要素,以及具体发生的事情。事实表中存储数字型ID以及度量信息。

维表则是对事实表中事件的要素的描述信息,就是你观察该事务的角度,是从哪个角度去观察这个内容的。

事实表和维表通过ID相关联,如图所示:

这里写图片描述

星形/雪花形/事实星座

这三者就是数据仓库多维数据模型建模的模式

上图所示就是一个标准的星形模型。

雪花形就是在维度下面又细分出维度,这样切分是为了使表结构更加规范化。雪花模式可以减少冗余,但是减少的那点空间和事实表的容量相比实在是微不足道,而且多个表联结操作会降低性能,所以一般不用雪花模式设计数据仓库。

事实星座模式就是星形模式的集合,包含星形模式,也就包含多个事实表。

企业级数据仓库/数据集市

企业级数据仓库:突出大而全,不论是细致数据和聚合数据它全都有,设计时使用事实星座模式

数据集市:可以看做是企业级数据仓库的一个子集,它是针对某一方面的数据设计的数据仓库,例如为公司的支付业务设计一个单独的数据集市。由于数据集市没有进行企业级的设计和规划,所以长期来看,它本身的集成将会极其复杂。其数据来源有两种,一种是直接从原生数据源得到,另一种是从企业数据仓库得到。设计时使用星形模型

3.2 数据仓库设计步骤

1、确定主题

主题与业务密切相关,所以设计数仓之前应当充分了解业务有哪些方面的需求,据此确定主题

2、确定量度

在确定了主题以后,我们将考虑要分析的技术指标,诸如年销售额之类。量度是要统计的指标,必须事先选 
择恰当,基于不同的量度将直接产生不同的决策结果。

3、确定数据粒度

考虑到量度的聚合程度不同,我们将采用“最小粒度原则”,即将量度的粒度设置到最小。例如如果知道某些数据细分到天就好了,那么设置其粒度到天;但是如果不确定的话,就将粒度设置为最小,即毫秒级别的。

4、确定维度

设计各个维度的主键、层次、层级,尽量减少冗余。

5、创建事实表

事实表中将存在维度代理键和各量度,而不应该存在描述性信息,即符合“瘦高原则”,即要求事实表数据条数尽量多(粒度最小),而描述性信息尽量少。


Refer

http://lxw1234.com/

https://my.oschina.net/leejun2005/blog/188770


转载:https://blog.csdn.net/trigl/article/details/68944434


查看评论

怎样的架构设计才是真正的数据仓库架构

在各个网站和论坛,一说到数据仓库,基本都想到了"ETL※DW※OLAP",一说到数据仓库设计,就是按照行业规范和客户需求调研,设计主题,然后设计对应的­事实表、维表。但是,这就是真正的数据仓库总体设计...
  • lg_lin
  • lg_lin
  • 2006-05-10 20:07:00
  • 3081

详解大数据数据仓库分层架构

大数据数据仓库是基于HIVE构架的数据仓库,分布文件系统为HDFS,资源管理为Yarn,计算引擎主要包括MapReduce/Tez/Spark等,分层架构如下:...
  • kwu_ganymede
  • kwu_ganymede
  • 2016-05-10 23:06:08
  • 12769

数据仓库理论两大流派(摘)

Ralph大师的kimball: Bill 大师的inmon 1.简要介绍 BI系统的架构设计,以数据仓库架构设计为其核心。数据仓库的架构领域在理论知识上存在着两大流派,它们分别...
  • juliefish
  • juliefish
  • 2013-12-31 18:00:56
  • 3754

数据仓库的架构以及数据分层

数据仓库分层的原因 1通过数据预处理提高效率,因为预处理,所以会存在冗余数据 2如果不分层而业务系统的业务规则发生变化,就会影响整个数据清洗过程,工作量巨大 3通过分层管理来实现分步完成工作,这样每一...
  • zengxiaosen
  • zengxiaosen
  • 2016-09-25 17:16:22
  • 12516

理论篇~第一章 大数据数据仓库架构

接下来,我们以阿里巴巴大数据架构图来介绍。     大数据系统体系分为数据采集层、数据计算层、数据服务层和数据应用层。简单介绍一下这四层的具体作用和使用到的技术(讲述的内容包含但不限于阿里巴巴的...
  • wer0735
  • wer0735
  • 2017-09-23 22:30:35
  • 533

数据仓库面试资料(基本概念)

什么叫数据仓库? 数据仓库是一个面向主题的(Subject Oriented)、集成的(Integrate)、相对稳定的(Non-Volatile)、反映历史变化(Time Variant)的数...
  • web_go_run
  • web_go_run
  • 2015-09-12 16:13:31
  • 667

关于Hive数据仓库的那些事儿(一)模式设计

作者李程,北京市种子管理站站长,人称李站长,友盟数据平台Hive数据仓库扛把子工程师。数据仓库的起源可以追溯到计算机与信息系统发展的初期。它是信息技术长期复杂演化的产物,并且直到今天这种演化仍然在继续...
  • bitcarmanlee
  • bitcarmanlee
  • 2016-11-29 22:57:39
  • 2102

数据仓库(八):数据仓库中数据库设计的基本模型对比--Inmon

注:本文参考Inmon的著作,Inmon支持关系模型,因此下面的观点基本都是支持关系模型的。关于多维模型的内容可参考Kimball的著作《数据仓库工具箱:维度建模的完全指南》等。 广泛采用的数据库设...
  • kingzone_2008
  • kingzone_2008
  • 2013-05-20 15:42:36
  • 7341

数据仓库——Hive入门介绍

一,什么是Hive:1.Hive是建立在Hadoop HDFS上的数据仓库基础架构; 2.Hive可以用来进行数据提取转化加载(ETL) 3.Hive定义了简单的类似SQL查询语言,称为HQL它允许熟...
  • s646575997
  • s646575997
  • 2016-05-20 11:35:17
  • 787

数据仓库架构发展

一、什么是数据仓库       传统数据仓库的概念是数据仓库是决策支持系统(dss)和联机分析应用数据源的结构化数据环境。是为企业所有级别的决策制定过程提供支持的所有类型数据的战略集合。     ...
  • map_lixiupeng
  • map_lixiupeng
  • 2014-12-31 10:49:36
  • 4719
    个人资料
    等级:
    访问量: 0
    积分: 281
    排名: 0
    文章存档