数仓模型

最新推荐文章于 2024-09-18 10:35:18 发布

sanbudeyu_008

最新推荐文章于 2024-09-18 10:35:18 发布

阅读量1.4k

点赞数 1

分类专栏：笔记

本文链接：https://blog.csdn.net/sanbudeyu_008/article/details/104127510

版权

笔记专栏收录该内容

1 篇文章 0 订阅

订阅专栏

一、数仓分层

为什么要分层
清晰数据架构血缘跟踪减少重复开发复杂问题简单化屏蔽业务的影响(易迁移)

清晰数据结构：每一个数据分层都有它的作用域，这样我们在使用表的时候能更方便地定位和理解。
数据血缘追踪：简单来讲可以这样理解，我们最终给业务诚信的是一能直接使用的张业务表，但是它的来源有很多，如果有一张来源表出问题了，我们希望能够快速准确地定位到问题，并清楚它的危害范围。
减少重复开发：规范数据分层，开发一些通用的中间层数据，能够减少极大的重复计算。
把复杂问题简单化。讲一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解。而且便于维护数据的准确性，当数据出现问题之后，可以不用修复所有的数据，只需要从有问题的步骤开始修复。
屏蔽业务的影响，不必改一次业务就需要重新接入数据

将数据仓库分为三层，自下而上为：数据引入层（ODS，Operation Data Store）、数据公共层（CDM， Common Data Model）和数据应用层（ADS，Application Data Service）

ODS （数据引入层，Operation Data Store）
存放从业务系统获取的最原始的数据
存储方式:全量(全量快照)，增量，拉链，日志流水，缓慢渐变维

CDM（数据公共层，Common Data Model）

dim:公共维度层。
统一口径，采用宽表设计的原则
确定维度属性，主要包括两个阶段。第一个阶段是从主维表中选择维度属性或生成新的维度属性；第二个阶段是从相关维表中选择维度属性或生成新的维度属性。以商品维度为例，从主维表（商品信息表）和类目、卖家、店铺等相关维表中选择维度属性或生成新的维度属性。
dwd:明细粒度事实层。以业务过程作为建模驱动
明细事实表的设计可以分为五个步骤：
● 选择业务过程，如淘宝电商业务过程有创建订单、买家付款、卖家发货、买家确认收货
● 声明粒度
● 确定维度，完成粒度声明以后，也就意味着确定了主键，对应的维度组合以及相关的维度字段就可以确定了
● 确定事实，即度量，分为可加性，半可加性，不可加性
● 冗余维度，即维度退化(维度属性可以存储到事实表中)
dws:公共汇总粒度事实层。
以分析的主题对象作为建模驱动,基于上层的应用和产品的指标需求构建公共粒度的汇总指标事实表

ADS（数据应用层，Application Data Service）
存放数据产品个性化的统计指标数据

ps 数据仓库模型设计除横向的分层外，通常也需要根据业务情况进行纵向划分数据域。数据域是联系较为紧密的数据主题的集合

二、事实表分类

事实表分为事务事实表，周期快照事实表，累积快照事实表
事务事实表
分为单事务事实表，多事务事实表
多事务事实表在设计时有两种方法进行事实的处理

不同业务过程的事实使用不同的事实字段进行存放，如同时有下单时间，支付时间，完成时间
不同业务过程的事实使用同一个事实字段进行存放，但增加一个业务过程标签，如收藏还是取消收藏

周期快照事实表
快照事实表以预定的间隔采样状态度量

单维度的每天快照事实表，采样周期为每天，针对卖家、买家、商品、类目、地区等维度的快照事实表，比如淘宝卖家历史至今汇总事实表、淘宝商品自然月至今汇总事实
混合维度相对于单维度，只是在每天的采样周期上针对个维度进行采样。比如淘宝买卖家历史至今快照事实，采样周期依然是每天，维度是卖家加买家，反映的是不同家对于不同卖家的下单支付金额

累积快照事实表
特点:1数据不断更新，2多个业务过程日期，用于计算业务过程之间的时间间隔

三、主题

主题:较高层次的抽象，每个主题对应一个宏观分析领域。同时一定程度上也是为了把数据仓库这么一个大的工程做横向拆分。主题一般在dws层划分。
主题在信息图包只占据标题位置，当主题定义好后，需要增加属性组
典型的主题包括顾客，订单，产品，财务。
公司管理层需要的主题:仓库，商品，供应商，客户
银行十大主题：当事人、产品、协议、事件、资产、财务、机构、地域、营销、渠道
美旅数仓划分为客服、流量、运营、订单、门店、产品、参与人、风控、结算和公用等十大主题
传统行业如银行、制造业、电信、零售等行业中，都有比较成熟的主题划分，如BDWM、FS-LDM、MLDM 等等。但从实际调研情况来看，主题划分太抽象会造成对业务理解和开发成本较高，不适用互联网行业。因此，结合各层的特性，我们提出了两类主题的划分：面向业务、面向分析。如销售分析域，组织分析域。