数据仓库

数仓基本概述

概念

数据仓库概念创始人在《建立数据仓库》一书中对数据仓库的定义是：数据仓库（Data Warehouse）是一个面向主题的（Subject Oriented）、数据集成的（Integrated）、相对稳定(非易失)的（Non-Volatile）、反映历史变化(时变)（Time Variant）的数据集合，用于支持管理决策(Decision Making Support)。

大白话：企业想做数据分析。但是有数据孤岛问以及数据量太大,所以做出一个系统解决了集中存储及海量数据计算(在相关维度的指标分析)的问题,同时还能支持SQL最好。这个我们叫数据仓库

数据仓库是决策支持系统（dss）的结构化数据环境，如下图，决策支持系统基于数据仓库进行联机分析处理 ( OLAP ) 。常用的技术有，HDFS、HBase、Hive、SparkSql等。

联机分析处理流程(OLAP)：

1. 数据采集
2. 基于数据仓库进行数据分析
3. 生成报表

OLTP和OLAP的区别

OLTP(On-Line Transaction Processing)：
On-Line：在线的,即时的
Transaction：事务
Processing：数据处理
即联机事务处理，也称为面向交易的处理过程，其基本特征是前台接收的用户数据可以立即传送到计算中心进行处理，并在很短的时间内给出处理结果，是对用户操作快速响应的方式之一，比如ERP系统，CRM系统，互联网电商系统等，这类系统的特点是事务操作频繁，数据量小。

OLAP(On-Line Analytical Processing)：
On-Line：在线的,即时的
Analytical：分析的,解析的
Processing：数据处理
即联机分析处理，有时也称为决策支持系统（DSS），支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。这类系统的特点是没有事务性操作，主要是查询操作，数据量大。

数仓的特点

1. 面向主题
   理解主题的概念可以和数据库应用系统对比理解：
   数据库应用是以业务流程来划分应用程序和数据库。
   数据仓库是以数据分析需求来对数据进行组织划分若干主题。
2. 数据集成
   主题中的数据是跨应用系统的，也就是说数据是分散在各各应用系统。
3. 非易失
   数据仓库中的数据用于查询和分析，为了保证数据分析的准确性和稳定性，数据仓库中的数据一般是很少更新的，会将历史快照保存下来。
4. 时变
   数据仓库中的数据存储的是历史数据，历史数据是随时间变化的：

• 会不断添加新数据
• 删除过期数据(数据仓库的数据会保存)
• 对历史明细数据进行聚合

数仓的系统架构

1. 系统结构图
   

2. 源数据
   源数据是指用于分析的原始数据，这一步主要是根据分析需求确定源数据，这个数据分布在内部系统和外部分系统中，内部数据主要是企业ERP系统、外部数据是指企业外部分系统所产生的数据，通常是指行业数据。源数据最大的特点是格式不统一，如果要对源数据进行分析需要经过ETL对数据进行集中获取、过虑、转换等处理。

3. ETL
   ETL（Extra, Transfer, Load）包括数据抽取、数据转换、数据装载三个过程。

• 抽取
  数据抽取是从各各业务系统、外部系统等源数据处采集源数据。
• 转换
  采集过来的源数据如果要存储到数据仓库需要按照一定的数据格式对源数据进行转换，常见的转换方式有数据类型转换、格式转换、缺失值补充、数据综合等。
• 装载
  转换后的数据就可以存储到数据仓库中，这个过程要装载。数据装载通常是按一定的频率进行的，比如每天装载当天的订单数据、每星期装载客户信息等。

4. 数据仓库与数据集市
   数据仓库是用于企业整体分析的数据集合，比如分为：销售主题、客户主题、产品主题等。数据集市是用于部门分析的数据集合，从范围上来讲它属于数据仓库的子集，比如：销售部门的数据集市只有销售主题。

数据仓库与数据集市的区别：

• 范围：
  数据仓库是针对企业整体分析数据的集合
  数据集市是针对部门级别分析的数据集合。

• 数据粒度不同
  数据仓库通常包括粒度较细的数据明细。
  数据集市则会在数据仓库的基础上进行数据聚合，这些聚合后的数据就会直接用于部门业务分析。

5. 应用系统
   这里的应用系统是指使用数据仓库完成数据分析、数据查询、数据报表等功能的系统。应用系统需要从数据仓库中查询数据、分析数据，比如：OLAP 系统、数据查询系统等。

6. 用户
   使用数据仓库系统的用户主要有数据分析人员、管理决策人员（公司高层）等。

维度与指标

1. 维度分析
   对数据进行分析通常采取维度分析，比如：用户提出分析课程访问量的指标，为了满足不同的分析需求可以从时间维度分析课程访问量，分析每天、每小时的课程访问量；也可以从课程维度来分析课程访问量，分析每个课程、每个课程分类的访问量。

2. 维度
   维度是事务的特征，如颜色、区域、时间等，可以根据不同的维度来对指标进行分析对比。比如根据区域维度来分析不同区域的产品销量，根据时间来分析每个月产品的销量，同一个产品销量指标从不同的维度分析会得出不同的结果。

维度分为定性维度和定量维度两种，定性维度就是字符类型的特征，比如区域维度包括全国各省份；定量维度就是数值类型的特征，如价格区间、销量区间等，如价格区间维度分为0–100、100-1000两个区间，可以按价格区间维度来对指标进行分析，说到这里，其实指标是可以转成维度的，所转成的维度就是定量维度。

3. 指标
   指标是衡量事务发展的标准，也叫度量，如价格，销量等；指标可以求和、求平均值等计算。
   指标分为绝对数值和相对数值，绝对数值反映具体的大小和多少，如价格、销量、分数等；相对数值反映一定的程度，如及格率、购买率、涨幅等。

维度的分层与分级

通常在分析结果中首先看到的是一个总数，比如全年课程购买量，然后会详细去看每个季度、每个月的课程购买量，全年、季度、月这些属于时间维度的一个层次，年、季度、月是这个层次的三个级别；再比如按地区分析课程购买量，全国、省、市、县属于地区维度的一个层次，层次中共有四个级别。

相当于将维度进行细分。细分两层，则维度包含一个层次，多个级别。 细分三层，则维度包含多个层次，多个级别。

每个维度至少有一个层次且该层次至少有一个级别。下边将课程访问的各各维度定义层次和级别，如下：

1. 时间维度：
   一个层次四个级别：年、月、天、小时
2. 课程维度：
   课程名称：只有一个级别，每门课程的名称
   课程分类：两个级别，大类和小类
   课程难度：只有三个级别，简单、一般、难
   课程等级：只有三个级别，初、中、高
3. 地区维度
   一个层次三个级别：省、市、县

下钻与上卷

概述：把汇总高级别的信息过程叫上卷，把汇总低级别的信息过程叫下钻
维度中有不同的层次，每个层次可以有多个级别，这样就可以根据多个维护层次和级别进行分析，可以灵活获取高级别的汇总信息，获取低级别的明细信息。

数仓建模

数据仓库建模的方法常用的有两种：三范式建模法(基于业务)、维度建模法(基于数据分析)，三范式建模法主要是应用于传统的企业级数据仓库，这类数据仓库通常使用关系型数据库实现，是由Inmon提出的，应用于自顶向下的数据仓库架构; 维度数据模型就是基于维度分析来创建模型，是由Kimball提出，应用于自下向上的数据仓库架构。本课程采用维度建模的方法。

维度建模，简称DM（Dimensional modeling），数据仓库大师Kimball的观点：维度数据模型是一种趋向于支持最终用户对数据仓库进行查询的设计技术，是围绕性能和易理解性构建的。维度模型是按照用户看待或分析数据的角度来组织数据。
维度建模的两个核心概念：事实表和维度表。

事实表

1. 概述
   事实表记录了特定事件的数字化信息，一般由数值型数字和指向维度表的外键组成。
   事实表的设计依赖于业务系统，事实表的数据就是业务系统的指标数据。数据分析的实质就是基于事实表开展的计算操作。

2. 分类

• 事务事实表
• 周期快照事实表
• 累积快照事实表

维度表

1. 概述
   维度是指观察数据的角度，一般是一个名词，比如对于销售金额这个事实，我们可以从销售时间、销售产品、销售店铺、购买顾客等多个维度来观察分析。
   维度表的记录数比事实表少，但是每条记录可能会包含很多字段。

2. 分类

• 高基数维度数据
  一般是用户资料表、商品资料表类似的资料表。数据量可能是千万级或者上亿级别。
• 低基数维度数据
  一般是配置表，比如枚举值对应的中文含义，或者日期维表、地理维表等。数据量可能是个位数或者几千条几万条。

常见建模方法

• 星型模型：
  是一种多维的数据关系。一个事实表为中心，多个维度表环绕周围。
  一个星型模型中可以有一个或多个事实表，每个事实表可以引用任意数量的维度表。
  星型模型将业务流程分为事实和维度。事实是对业务的度量，是定量的数据，比如价格、销售数量、距离、速度、质量等。维度是对事实数据属性的描述，比如日期、产品、客户、地理位置等。

• 雪花模型：
  当有一个或多个维表没有直接连接到事实表上，而是通过其他维表间接连接到事实表上时，就像多个雪花连接在一起，故称雪花模型。雪花模型是对星型模型的扩展，它对星型模型的维表进一步层次化，原有的各维表可能被扩展为小的事实表，形成一些局部的 "层次 " 区域，这些被分解的表都连接到主维度表而不是事实表。
  

渐变维

1. 概述：
   维度可以根据变化剧烈程度主要分为无变化维度和变化维度。例如一个人的相关信息，身份证号、姓名和性别等信息数据属于不变的部分；而婚姻状态、工作经历、工作单位和培训经历等属于可能会变化的字段。

大多数维度数据随时间的迁移是缓慢变化的。比如增加了新的产品，或者产品的ID号码修改了，或者产品增加了一个新的属性，此时，维度表就会被修改或者增加新的记录行。这样，在设计维度和使用维度的过程中，就要考虑到缓慢变化维度数据的处理。

缓慢渐变维，即维度中的属性可能会随着时间发生改变，比如包含用户住址Address的DimCustomer维度，用户的住址可能会发生改变，进而影响业务统计精度，DimCustomer维度就是缓慢渐变维（SCD）。

2. 分类：

• SCD1（缓慢渐变类型1）
  通过更新维度记录直接覆盖已存在的值。不维护记录的历史。一般用于修改错误的数据，即历史数据就是错误数据，除此没有他用。

• SCD2（缓慢渐变类型2）
  在源数据发生变化时，给维度记录建立一个新的“版本”记录，从而维护维度历史。SCD2不删除、不修改已存在的数据。SCD2也叫拉链表。

• SCD3（缓慢渐变类型3）
  实际上SCD1 and 2 可以满足大多数需求了，但是仍然有其它的解决方案，比如说 SCD3。 SCD3希望只维护更少的历史记录。

数仓分层

1. 为什么要分层？
   作为一名数据的规划者，我们希望自己的数据能够有秩序地流转，数据的整个生命周期能够清晰明确被设计者和使用者感知到。直观来讲就是如图这般层次清晰、依赖关系直观。

2. 分层方法

• 源数据层（ODS）：
  原始数据层，将原封不动或少量修改的数据加载到hive表中
  此层数据无任何更改，直接沿用外围系统数据结构和数据，不对外开放；为临时存储层，是接口数据的临时存储区域，为后一步的数据处理做准备。

• 数据仓库层（DW）：
  DW 层的数据应该是一致的、准确的、干净的数据，即对源系统数据进行了清洗（去除了杂质）后的数据。
  此层可以细分为三层：

  明细层DWD（Data Warehouse Detail）：
  存储明细数据，此数据是最细粒度的事实数据。该层一般保持和ODS层一样的数据粒度，并且提供一定的数据质量保证。同时，为了提高数据明细层的易用性，该层会采用一些维度退化手法，将维度退化至事实表中，减少事实表和维表的关联。

中间层DWM（Data WareHouse Middle）：
存储中间数据，为数据统计需要创建的中间表数据，此数据一般是对多个维度的聚合数据，此层数据通常来源于DWD层的数据。

业务层DWS（Data WareHouse Service）：数据服务层,以DWD为基础进行轻度汇总。
用于存储宽表数据，此层数据是针对某个业务领域的聚合数据，应用层的数据通常来源与此层，为什么叫宽表，主要是为了应用层的需要在这一层将业务相关的所有数据统一汇集起来进行存储，方便业务层获取。

• ADS层(APP DATA Service)：
  数据应用层,在DWS的基础上对数据进行汇总