数据仓库(二) 数仓理论（重点核心）

数据仓库(二) 数仓理论（重点核心）

麻烦给我来一杯mojito，我喜欢数仓上头的感受~

数仓分层

数据仓库分层

ODS层

原始数据层，存放原始数据，直接加载原始日志，数据。数据保存原貌不做处理，起到备份数据的作用。
数据采用压缩，减少磁盘存储空间（例如：原始数据100G，可以压缩到10G左右，LZO）
创建分区表，防止后续的全表扫描。

DWD层

对ODS层数据进行清洗（去除空值，脏数据，超过极限范围的数据），维度退化，脱敏等。
需构建维度模型，一般采用星型模型，呈现的状态一般为星座模型。

DWS层

以DWD为基础，按天进行轻度汇总。
统计各个主题对象的当天行为，服务于DWT层的主题宽表，以及一些业务明细数据，应对特殊需求（例如，购买行为，统计商品复购率）。

DWT层

以DWS为基础，按主题进行汇总。
以分析的主题对象为建模驱动，基于上层的应用和产品的指标需求，构建主题对象的全量宽表。

ADS层

为各种统计报表提供数据。

数据仓库分层的好处

• 把复杂问题简单化

将复杂的任务分解成多层来完成，每一层只处理简单的任务，方便定位问题。

• 减少重复开发

规范数据分层，通过中间层数据，能够减少极大的重复计算，增加一次计算结果的复用性。

• 隔离原始数据

不论是数据的异常还是数据的敏感性，使真实数据和统计数据解耦开。

关系建模与维度建模

当今的数据处理大致可以分成两大类：联机事务处理OLTP(on-line transaction processing)，联机分析处理OLAP(on-line analytical processing)。

• OLTP是传统的关系型数据库的主要应用，主要是基本的，日常的事务处理，例如银行交易。
• OLAP是数据仓库系统的主要应用，支持复杂的分析操作，侧重决策支持，并且提供直观易懂的查询结果。

二者的主要区别对比：

对比属性	OLTP	OLAP
读特性	每次查询只返回少量记录	对大量记录进行汇总
写特性	随机，低延时写入用户的输入	批量导入
使用场景	用户，JavaEE项目	内部分析师，为决策提供支持
数据表征	最新数据状态	随时间变化的历史状态
数据规模	GB	TB 到 PB

关系建模

• 关系模型如图所示，严格遵守第三范式(3NF)。

从图中可以看出，较为松散，零碎。物理表数量多，而数据冗余程度低。
由于数据分布于众多的表中，这些数据可以更为灵活的被应用，功能性较强。
关系模型主要应用于OLTP系统中，为了保证数据的一致性以及避免冗余，所以大部分业务系统的表都是遵循第三范式的。