数仓分层架构

数仓的分层

1 经典的数仓分层架构

数仓分层算是一种数据冗余的机制,在上一层做一定的数据处理,提升了维度信息

大数据的特点就是海量数据,将海量的数据进行分层之后,最原始的数据存储周期可以实地降低,能够缓解存储压力,而更上层的数据,因为是处理过的数据,数据量相对来说会小一点,存储周期会更长一点

2.0 DIM层

建立一致数据分析维表

2.1 ODS层

又叫贴源层,需要储存的数据量是最大的,最原始的,用来存放最底层数据

ods建表时,如果使用hive进行处理,一般建立外部表

2.2 DWD层

又叫数据明细表,主要存储事实表为主,会做数据映射

dwd存储数据,一般就是维度表,事实表,实体表等数据

2.3 DWS层

俗称数据服务层,也有叫数据聚合层,为上层ADS层提供服务

2.4 ADS层

应用服务层,一般用于对接OLAP分析,或者业务层数据调用接口了

ads属于顶层,一般都是结果类型数据,可以直接进行展示,

ads是需求最为明确的一层,根据业务需求来决定数据维度和结果分析,类似于代码最外层,接口是相对最固化的

--全凭个人理解

  • 12
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值