数据仓库的分层设计

1.每个source对应数据源,放到数据仓库

ODS层:

ODS层:第一层: 操作数据层:直接存放在数据抽取的数据,将不同数据汇聚在一起,将soure层的数据汇聚在一起,不需要清洗,分布在同一个

DW层:数据仓库

DWD层:第二层:数据明细层:通过对维度的轻度聚合,计算对应的统计指标,方便使用

DWM层:第三层:数据中间层:对通用的维度进行轻度聚合操作,计算对应的统计指标,方便使用

DWS层:第四层:数据服务层:按照主题业务组织主题宽表,用于OLAP分析,做汇总

DM层

DM层:第五层:基于DW层的基础,整合汇总成分析某个主题领域的报表数据

注意:有些公司不需要dwm层,因为没有那么多业务,ODS层一般是存储了所有的数据,范式化存储,DWD做简单的划分也是范式化,dwm和dws是维度建模,分成的目的是为了,让多类型的.根据不同的层进行架构,好处是多个表关联过来,提供报表的时候非常复杂,表特别多的情况下,有了很好的流转关系,可以有更清晰的数据结构.更方便的可以按部就班的很好的复用

优点:1.清晰的数据结构 2.减少重复开发 3. 同一出口 4.简化问题

案例分析:某购物网站可以在pc端,ipad端,手机端app,微信小程序登录购物网站进行购物,用户购物会产生一些订单,浏览商品,地域登出等日志数据,为了方便后期分析日志数据和订单数据用户更好的决策.把数据进行分层.

ods层:购物网站可以在pc端,ipad端,手机端app,微信小程序抽取到层

dwd层:形成用户的泛化用户订单的明细表

dwm层:中间层,对应明细数据按照常用维度进行初步汇总

dws层:数据服务层,各个业务主题的宽表,更细化根据用户主题表可以到下一层操作

dm层:数据即时层务强相关的报表层:用户活跃表,用户留存表,商品热销表,商户营收表,地区热度表

dw层的表相关联相乘一个大宽表方便查询

垃圾键盘!!!!!艹

结束