ODS
Operational Data Store 操作数据存储(贴源层)
指的是从数据源中经过Extract(数据抽取)-Transform(数据转换)-Load(数据加载)获取到的数据存储到该层。
不是简单的数据换个地方存,而是经过了一定的过滤,去重,还原,清洗工作后保存的一层数据。跟源数据最贴近,但不是源数据的一层数据存储层,为整个数仓的加工数据提供来源的一层。
例如通过Kafka增量获取通过FlinkJob进行过滤去重清洗,保存到ODS层的TiDB/ClickHouse/Hive之类的存储服务上。
DW
Data House 数据仓库
这一层是泛指数据仓库的主体,从ODS层获取元数据并且按照主题和业务逻辑建立数据模型,其中DW层又会细分为:
DWD
数据明细层 Data Warehouse Detail
主要针对ODS数据作进一步的逻辑清晰和规范化。
DWM(DWB)
数据中间/基础层 Data Warehouse Middle/Base
把经过整理后的数据进行一些通用的,轻微程度的汇总
DWS
数据服务层 Data WareHouse Server
将清洗,整合后的数据允许用户进行某个维度的OLAP分析,生成符合要求的大宽表,方便后续的业务查询
就类似于数据工厂中允许用户通过拖拉拽组件对清洗过滤后的数据进行“横向连接”,“追加合并”,“字段设置”等等操作
ADS
Application Data Service 应用数据服务层
将经过处理后的数据提供给应用层做展示,反馈给数据分析师和决策人员。类似于表现层。这里一般对数据的高效查询要求很高,所以一般采取高效的查询服务,Clickhouse,ES,TiDB中的TiFlash等等,做大宽表等等。