分层简介
数据仓库按自下而上的顺序分为:
ETL层(Extract-Transform-Load):数据清洗层,存原始数据;
ODS层(Operational Data Store):操作数据源层;
CDM层(Common Dimensional Model):公共维度模型层,
主要包括DWD层(Data Warehouse Detail 数据明细层) 和 DWS层(Data Warehouse Summary 数据汇总层)两部分;
ADS层(Application Data Service):数据应用层。
职责简介
(1). ODS层(Operational Data Store):贴源层,也称为操作数据源层,是数据仓库中的一个核心组成部分,该层主要用于保存原始数据,完成数据积存,通常反映了企业业务系统中的最新操作,同时也是进行数据仓库的基础,ODS层的数据被保存在磁盘中,直接体现了数据仓库的一个特性——非易失性。
(2). CDM层(Common Dimensional Model):公共维度模型层,是数据仓库中最核心和最关键的一层,该层主要用于提供标准化、共享的维度模型,为数据分析提供便利。CDM层通常包括数据明细层(DWD)和数据汇总层(DWS)两个部分。
(2.1). DWD层(Data Warehouse Detail):数据明细层,接收数据仓库ODS层的原始数据,并进行清洗、标准化、维度退化、异常数据剔除等操作,进行统一处理,用于存储详细的完整的数据,为数据分析提供支持。DWD层一般按照业务主题建模,包含多个维度表和事实表,维度表可以用来描述业务数据的特征,而事实表则包含了关键数据指标(如销量、价格等)。
(2.2). DWS层(Data Warehouse Summary):数据汇总层,也称宽表层,通过聚合和汇总,将DWD层中的数据按照主题进行汇总,形成宽表,进而提升数据分析性能。DWS层通常包含多个宽表,每个宽表都是由多个事实表和维度表经过聚合和分组运算生成的,DWS层中的宽表可以满足特定主题和不同维度的分析需求,减少了对其他表的操作,提升数据分析性能。
(3). ADS层(Application Data Service):数据应用层,其主要功能是保存结果数据,为外部系统提供查询接口,基于数据仓库的数据为企业提供增值应用,并将数据仓库的数据应用于企业决策、报表、分析、控制等领域。数据仓库ADS层通常采用OLAP(Online Analytical Processing)技术,用于快速访问和查询数据。数据仓库ADS层一般包括多个宽表,这些宽表一般可以通过BI工具或自定义应用程序查询和访问,以满足企业的各种数据需求,为了提高访问和查询速度,ADS层通常使用数据索引、缓存和预聚合等技术。
数据流转
借助帆软的图,来描述数据分层的数据流向。