分布式数据仓库的整体组织结构

数据仓库的层级分为:

ODS层(源数据层):用来存放外围系统导入的数据,数据类型包含业务系统数据、网站和app等日志数据,已经其他渠道获得的数据(比如购买的数据),源数据层基本都是贴源数据,除了简单的清洗,一般数据形式和表结构都和数据源保持一致。

DW层:数据仓库层,一般用来存放明细数据,根据不同业务类型将ODS的数据进行关联融合,得到不同业务类型的明细表。明细表可以提供给前端报表直接查询明细使用,也可供后面的数据汇总使用。

DM层:数据集市层,根据不同的分析维度和主题,对数据进行汇总,数据可以是完全汇总,即按需求进行完全汇总成一张表,也可以为了兼容不同维度的分析,将数据数据进行最大限度的压缩汇总,同时兼容分析平台根据不同维度进行查询(例如一份数据要按照地区进行分析,那么数据的颗粒度就只能压缩到地区,不能压缩到省)。

APP层:根据业务需求,将数据粒度高度汇总,基本不需要再进行汇总,数据可以直接应用。

DIM:维度层,DIM层中维护了各个维度数据,如时间、地区、产品、客户属性等维度维度,用于维度分析提供辅助。DIM贯穿这个数仓,任何一个层级都可能用到DIM中的维度表数据。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

大数据架构师Pony

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值