1.ODS层
1)保持数据原貌不做任何修改,起到备份数据的作用。
2)数据采用压缩,减少磁盘存储空间(例如:原始数据100G,可以压缩到10G左右)
3)创建分区表,防止后续的全表扫描。
2.DWD层
DWD层需要构建维度模型,一般采用星型模型,呈现的状态一般为星座模型。
维度建模一般按照一下四个步骤:
选择业务过程——生命粒度——确认维度——确认事实
(1)选择业务过程
在业务系统中,挑选我们感兴趣的业务线,比如下单业务,支付业务,退款业务,物流业务,一条业务线对应一个事实表。
(2)声明粒度
数据粒度指数据仓库的数据中保存数据的细化程度或综合程度的级别。
声明粒度意味着精确定义事实表中的一行数据表示什么,应该尽可能选择最小粒度,以此赢对各种各样的需求。
典型的粒度声明如下:
订单中,每个商品项作为下单事实表中的一行,粒度为每次下单。
每周的订单次数作为一行,粒度就是每周下单。
每月的订单次数作为一行,粒度就是每月下单。
(3)
确定维度
维度的主要作用就是描述业务是事实,主要表示的是“谁,何处,何时”等信息。
按照数据仓库工具箱里面的说法是“谁,什么,何处,何时,为何,如何”等信息。
4)确定事实
次数的“事实”一词,指的的是业务中的度量值,例如订单金额,下单次数等。
在DWD层,以业务过程为建模驱动,基于每个具体业务过程中的特点,构建最细粒度的明细层事实表。事实表可以适当的宽表化处理
至此,数据仓库的维度建模已经完成,DWS,DWT和ADS和维度建模已经没有关系了。
DWS和DWT都是宽建表,宽表都是按照主题去建。主题相当于观察问题的角度,对应着维度表。
3.DWS层
统计各个主题对象的当天行为,服务于DWT层的主题宽表,以及一些业务明细数据,应对特殊需求
4.DWT层
以分析的主题对象为建模驱动,基于上层的应用和产品指标的需求,构建主题对象的全量宽表。
5.ADS层
对电商系统各大主题指标进行分析
6.建模小结
ods:采用关系建模
保持数据原貌,不做任何修改,备份防止数据丢失。
对数据进行压缩,减少磁盘空间。
创建分区表,防止后续扫描全表
dwd:采用维度建模,尽量采用星型建模,事务表周围只有一级维度。
步骤分为:
选择业务过程,选择粒度,声明维度,确认事实。
dws:统计与主题相关的当天一些指标,创建宽表。
如何确认主题,我们可以从上面的维度里面去找(这是其中一种方案)
以客户为例,我们有8张事实表,有7张事实表跟它有关联,这样会让这种表非常的宽
dwt:对主题的一些指标统计出一些累计的指标,dws统计当天的,dwt可能统计的是近一个月,一个季度,半年…这样累计的指标。
ads:分析出最终报表,出一些领导关注的指标,这些数据的来源可能是dws或者dwt。
数据仓库建模
最新推荐文章于 2024-04-30 15:41:07 发布