数据仓库分层概念

ODS

Operational Data Store 操作数据存储(贴源层)
指的是从数据源中经过Extract(数据抽取)-Transform(数据转换)-Load(数据加载)获取到的数据存储到该层。
不是简单的数据换个地方存,而是经过了一定的过滤,去重,还原,清洗工作后保存的一层数据。跟源数据最贴近,但不是源数据的一层数据存储层,为整个数仓的加工数据提供来源的一层。
例如通过Kafka增量获取通过FlinkJob进行过滤去重清洗,保存到ODS层的TiDB/ClickHouse/Hive之类的存储服务上。

DW

Data House 数据仓库
这一层是泛指数据仓库的主体,从ODS层获取元数据并且按照主题和业务逻辑建立数据模型,其中DW层又会细分为:

DWD

数据明细层 Data Warehouse Detail
主要针对ODS数据作进一步的逻辑清晰和规范化。

DWM(DWB)

数据中间/基础层 Data Warehouse Middle/Base
把经过整理后的数据进行一些通用的,轻微程度的汇总

DWS

数据服务层 Data WareHouse Server
将清洗,整合后的数据允许用户进行某个维度的OLAP分析,生成符合要求的大宽表,方便后续的业务查询
就类似于数据工厂中允许用户通过拖拉拽组件对清洗过滤后的数据进行“横向连接”,“追加合并”,“字段设置”等等操作

ADS

Application Data Service 应用数据服务层
将经过处理后的数据提供给应用层做展示,反馈给数据分析师和决策人员。类似于表现层。这里一般对数据的高效查询要求很高,所以一般采取高效的查询服务,Clickhouse,ES,TiDB中的TiFlash等等,做大宽表等等。

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值