数仓建模:设计上规范应如何做? | 数仓建设规范

172 篇文章 104 订阅 ¥59.90 ¥99.00

目录

1 数仓建设整体规范

2 设计规范

2.1 技术架构规范

2.2 分层设计规范

2.3 主题设计规范

3 小结


1 数仓建设整体规范

数仓建设整体规范主要的包含:设计规范、命名规范、模型规范、开发规范、流程规范。

2 设计规范

     设计规范指数据仓库的整体的架构设计,其内容主要体现在三个方面,即技术架构规范、分层设计规范、主题设计规范,这三者具有一定的递进关系。

2.1 技术架构规范

对于企业而言,在数据仓库建设之初,需要对整体架构进行选型,并在搭建过程中严格执行,作为整体技术架构规范。如下图所示:

2.2 分层设计规范

(1)分层架构

在技术架构选型确定后,就需要对数据仓库主体分层进行划分,将原始明细数据存储于数据接入层,通过各分层的加工处理,最终输出到贴近业务的数据应用层,如下图所示:对于业务逻辑比较复杂的我们也可以抽象出基础指标层,按照实体建模,对同一对象的指标合并。

ODS(原始数据层):ODS层是数据仓库准备区,为DWD层提供基础原始数据。

DWD(明细数据层):又叫清洗层,和ODS层数据粒度一致,该层主要是对原始数据进行ETL操作,包括数据去重、脏数据过滤、空值处理、字段映射、数据脱敏、缺失值补充等操作,目的是为了保证数据质量。

DWB/DWM(整合层):又叫基础指标层,按照同一个对象,将相关指标合并,或进行一些数据标签化沉淀,如对订单流水表进行整合,将先上线下业务进行合并等。

DWS(数据服务层):又叫模型层,按照维度整合数据,形成维度整合的后宽表数据,主要为应用层提供基础模型数据。主要基于DWB层关联维度数据形成各维度主题大宽表,如DWB层订单流水表关联店铺信息组成渠道销售分析大宽表、关联商品信息组成商品销售分析大宽表、关联会员信息组成会员购买分析大宽表、关联导购组成导购分析大宽表、关联节假日信息组成节假日分析大宽表。

ADS(应用数层):按照应用分析主题形成各类宽表,为各种统计报表、数据分析提供数据。

(2)分层调用原则

    1)禁止逆向调用

    2)避免同层调用

    3)优先使用公共层

    4)避免跨层调用

2.3 主题设计规范

如果说分层设计规范是对数据纵向的划分,那么主题设计则是对数据横向的划分。根据业务主题进行切割,不同类型主题数据分门别类进行管理。

(1)根据业务部门划分或服务对象划分,比如财务主题、采购主题、生产主题、 库存主题、销售主题、服务主题。

(2)按照关键实体划分,比如客户、订单、供应商、 仓库、产线等等

(3)根据业务过程划分,将业务流程切分成各个业务节点,例如仓库相关的业务过程包括入库、盘点、出库等;生产 相关业务过程包括切断,滚磨,研磨定位槽,切片,磨片, 倒角,刻蚀,CMP,清洗,检测包装等。

3 小结

本文主要讲了数仓分层规范之设计规范,包括了技术架构规范、分层设计规范及主题设计规范等. 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值