大数据之数据仓库的分层:ODS/DWD/DWS/ADS

分层简介

数据仓库按自下而上的顺序分为:

ETL层(Extract-Transform-Load):数据清洗层,存原始数据;
ODS层(Operational Data Store):操作数据源层;
CDM层(Common Dimensional Model):公共维度模型层,
	  主要包括DWD层(Data Warehouse Detail 数据明细层) 和 DWS层(Data Warehouse Summary 数据汇总层)两部分;
ADS层(Application Data Service):数据应用层。

在这里插入图片描述

职责简介

(1). ODS层(Operational Data Store):贴源层,也称为操作数据源层,是数据仓库中的一个核心组成部分,该层主要用于保存原始数据,完成数据积存,通常反映了企业业务系统中的最新操作,同时也是进行数据仓库的基础,ODS层的数据被保存在磁盘中,直接体现了数据仓库的一个特性——非易失性。
(2). CDM层(Common Dimensional Model):公共维度模型层,是数据仓库中最核心和最关键的一层,该层主要用于提供标准化、共享的维度模型,为数据分析提供便利。CDM层通常包括数据明细层(DWD)和数据汇总层(DWS)两个部分。
(2.1). DWD层(Data Warehouse Detail):数据明细层,接收数据仓库ODS层的原始数据,并进行清洗、标准化、维度退化、异常数据剔除等操作,进行统一处理,用于存储详细的完整的数据,为数据分析提供支持。DWD层一般按照业务主题建模,包含多个维度表和事实表,维度表可以用来描述业务数据的特征,而事实表则包含了关键数据指标(如销量、价格等)。
(2.2). DWS层(Data Warehouse Summary):数据汇总层,也称宽表层,通过聚合和汇总,将DWD层中的数据按照主题进行汇总,形成宽表,进而提升数据分析性能。DWS层通常包含多个宽表,每个宽表都是由多个事实表和维度表经过聚合和分组运算生成的,DWS层中的宽表可以满足特定主题和不同维度的分析需求,减少了对其他表的操作,提升数据分析性能。
(3). ADS层(Application Data Service):数据应用层,其主要功能是保存结果数据,为外部系统提供查询接口,基于数据仓库的数据为企业提供增值应用,并将数据仓库的数据应用于企业决策、报表、分析、控制等领域。数据仓库ADS层通常采用OLAP(Online Analytical Processing)技术,用于快速访问和查询数据。数据仓库ADS层一般包括多个宽表,这些宽表一般可以通过BI工具或自定义应用程序查询和访问,以满足企业的各种数据需求,为了提高访问和查询速度,ADS层通常使用数据索引、缓存和预聚合等技术。

数据流转

借助帆软的图,来描述数据分层的数据流向。
在这里插入图片描述

  • 7
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

cloneme01

谢谢您的支持与鼓励!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值