大数据项目之电商数仓（数仓建模理论篇）（重点）

一、数仓分层

ODS（原始数据层） 不做处理，存放原始数据
DWD（明细数据层） 进行简单数据清洗，降维
DWS（服务数据层） 按天进行轻度汇总（做宽表）
DWT（数据主题层） 按主题进行汇总
ADS（数据应用层） 为报表提供数据

二、数仓建模

2.1 ODS 层 （负责备份数据工作）

（1）保持数据原貌不做任何修改，起到备份数据的作用。
（2）数据采用LZO压缩，并创建索引减少磁盘存储空间（切片）
（3）创建分区表，防止后续的全表扫描
（4）创建外部表（多人共用），内部表（仅自己使用）

2.2 DWD 层 （负责准备数据工作）

DWD 层需构建维度模型，一般采用星型模型，呈现的状态一般为星座模型。
（1）数仓维度建模（星型模型），使维度退化。好处：减少后续大量join操作
（2）数据清洗（ETL)
（3）数据采用LZO压缩，
（4）parquet列式存储
（5）脱敏（手机号，身份证号，个人信息）
（6）对用户行为数据进行解析 event事件表

维度建模一般按照以下四个步骤： 选择业务过程→声明粒度→确认维度→确认事实
（1）选择业务过程
在业务系统中，挑选我们感兴趣的业务线，比如下单业务，支付业务，退款业务，物流 业务，一条业务线对应一张事实表。
（2）声明粒度
数据粒度指数据仓库的数据中保存数据的细化程度或综合程度的级别。
声明粒度意味着精确定义事实表中的一行数据表示什么，应该尽可能选择最小粒度，以 此来应各种各样的需求。
典型的粒度声明如下：
订单中，每个商品项作为下单事实表中的一行，粒度为每次下单
每周的订单次数作为一行，粒度就是每周下单。
每月的订单次数作为一行，粒度就是每月下单
（3）确定维度
维度的主要作用是描述业务是事实，主要表示的是“谁，何处，何时”等信息。维度退化
（4）确定事实
此处的“事实”一词，指的是业务中的度量值，例如订单金额、下单次数等。
在 DWD 层，以业务过程为建模驱动，基于每个具体业务过程的特点，构建最细粒度的 明细层事实表。事实表可做适当的宽表化处理。

2.3 DWS 层 （各个主题一天发生的行为数据）

统计各个主题对象的当天行为，服务于 DWT 层的主题宽表，以及一些业务明细数据， 应对特殊需求（例如，购买行为，统计商品复购率）。

2.4 DWT 层 （从用户或商品产生到当前时刻累积的数据）

以分析的主题对象为建模驱动，基于上层的应用和产品的指标需求，构建主题对象的全 量宽表

2.5 ADS 层 （分析具体报表，直观数据）

对电商系统各大主题指标分别进行分析。