离线电商数仓（一）

一、数据仓库概述

1. 数据仓库

数据仓库是一个为数据分析而设计的企业级数据管理系统。数据仓库可集中、整合多个数据源的大量数据，企业可以从数据仓库中获取宝贵数据进行决策。

数据分类：业务数据、日志数据
将这两种数据从业务系统采集到Hive中：

• 业务数据全量同步使用DataX, 增量同步使用Maxwell；
• 日志数据使用Flume。

Hive数据仓库：

1. ODS原始数据层
2. DWD明细数据层：主要存储度量数据，不存储环境和描述信息，用于数据分析。但是会存储外键ID用于后期聚合。
3. DIM维度数据层：主要存储维度信息，即明细数据中没有存储的环境信息和描述信息。
4. DWS轻度聚合层：将数据轻度聚合，为了提高最终聚合的查询速度。
5. ADS最终聚合层：数据分析的最终结果。

数仓建模概述

建模的意义：将数据分门别类，方便查询。

• 高性能：快速查询所需的数据
• 低成本：实现计算结果的复用，降低计算成本
• 高效率：改善用户使用数据的体验，提高使用数据的效率
• 高质量：改善数据统计口径的混乱，减少计算错误的可能性。

两大建模理论

1. ER模型

   • 数据仓库之父Bill Inmon
   • 实体关系模型 + 规范化表示3范式
   • 实体关系：描述表之间关系
     • 一对一关系
     • 一对多关系
     • 多对多关系：一般多对多关系会进行拆分，添加一个中间表，拆分为两个一对多关系。
   • 数据库规范化：规范化的目的是为了减少数据冗余，增强数据的一致性。
     • 规范化越高，冗余越低，数据一致性越高，但是使用时所需的计算越多
     • 一般企业生产时只会用到三范式
   • 函数依赖：
     • 完全函数依赖：y=f(x), x为主键，假设主键是复合主键
     • 部分函数依赖: 只需要复合主键的一部分即可退出y
     • 传递函数依赖：a->b, b->c, 故a->c. 称为a和c存在传递函数依赖。
   • 三大范式：
     • 第一范式：属性不可切割，不能存在一个字段包含两个信息
     • 第二范式：主键必须是一个字段
     • 第三范式：表中不能存在传递函数依赖。

2. 维度模型

• 该模型的目的是为了减少join操作，即底层的shuffle操作。维度模型将复杂的业务通过事实和维度两个概念进行呈现。
  • 事实是指跟业务计算相关的度量信息
  • 维度是指业务相关的环境信息（时间、地点、用户信息等信息）。
• 计算时只需使用事实表即可，不需要将维度数据Join到一起，减少了数据的join操作。

2. 建表

事实表

事实表作为数据仓库维度建模的核心，紧紧围绕业务过程来设计。其包含业务过程有关的维度引用，即维度外键和业务过程的度量。

事务型事实表

1. 选择业务过程：选择一条业务线，比如（下单，支付，收藏，评论）。
2. 确定表名 xxx
3. 确定字段
   • 粒度：确定业务数据的范围，即是一次的数据还是一天或者一个月的数据。业务上必须记录最细粒度的数据，更高粒度的数据可以由细粒度的数据推出来。
   • 维度：确定需要放入事实表的维度外键，选择逻辑一般是越多越好，避免后期业务需求要使用时没有该字段来进行分析。
   • 度量值：确定该事实表是用来统计什么信息的，该值是用来计算的，根据公司业务需求确定。

对于某些特定类型的需求，其逻辑可能会比较复杂，或者效率比较低下。比如：

• 存量型指标：商品库存、账户余额等
• 多事务关联统计： 统计下单到支付的时间间隔的平均值。要计算该事务，需要join下单表和支付表，因为这两个表都是大表，join操作效率很低。

周期型快照事实表

以具有规律性的、可预见的时间间隔来记录事实，主要用于分析一些存量型和状态型指标。一般该表不需要再额外计算，直接查询即可。

累积型快照事实表

基于一个业务流程的多个关键业务过程联合处理而构建的事实表，如交易流程中的下单、支付、收货、签收操作。

维度表

维度表是维度建模的基础和灵魂，维度表围绕业务过程所处的环境进行设计。主要包含一个主键和各种维度字段，维度字段称为维度属性。

维度表的设计步骤：

1. 确定维度：理论上每个相关维度都需要建立一个维度表。如果存在多个事实表与同一个维度表存在关联，不要创建多个维度表。如果某些维度表的维度属性很少，例如只有一个名称，就可以将该属性维度退化到事实表中。
2. 确定主维表和相关维表：主维表的粒度必须跟事实表一致。
3. 确定维度属性：
   • 尽可能生成丰富的维度属性
   • 尽量不使用编码，而使用明确的文字说明
   • 删除掉无用的字段，比如头像URL，重复字段

维度表设计要点

规范化和反规范化问题：离线时建议使用星型模型，实时数据分析则建议为雪花模型。

1. 维度变化：维度属性不是静态的，会随着时间变化，数据仓库的一个重要特点就是反映历史变化。
   • 全量快照表：通常每天保存一次全量的维度数据
     • 优点：简单有效，维护成本低
     • 缺点：浪费内存，大部分是冗余数据
   • 拉链表：记录每条信息的生命周期，一旦一条记录的生命周期结束，就重新开始一条新的记录。
     • 优点：适合数据会发生变化，但是变化频率并不高的维度，即缓慢变化维。
     • 缺点: 数据的起始时间和结束时间收到采集系统的粒度影响
2. 多值维度问题：如果事实表中一条记录在某个维度表中多条记录与之对应，称为多值维度。事实上，出现该问题则说明事实表设计有误。
   • 降低事实表的粒度，建议尽量采用本方案解决多值维度问题。
   • 使用map集合类型保存或者struct类型保存

3. 数据仓库设计

合理的分层，能够使数据体系更加清晰，使复杂问题得以简化。

ODS层：主要用于备份，防止数据处理错误后没有重来的机会。
ODS层->DWD层：把ER模型改为维度模型，另外将数据全部改为表格类型数据。
DWS层：基于ADS的指标需求，存储一些中间表，构建公共统计粒度的汇总表。
ADS层：存放各项统计指标结果。

数据仓库构建流程

1. 数据调研：明确老板的指标需求，了解当前公司业务的业务线，核实当前记录数据能否通过统计分析后满足老板的需求。
2. 明确数据区域：比如将电商业务分为订单域，用户域，交互域（点赞，评论），方便并行开发，出现问题时也方便责任到某个开发者。
3. 构建业务总线矩阵&明确统计指标
   • 总线矩阵：DWD层+DIM层
   • 指标汇总：明确指标和轻度聚合层
4. 开发：编写SQL，建立仓库
5. 调度：使用调度器定时采集数据进行分析统计。