数据仓库分四层

数据库和数据仓库区别:

数据库:为某种目的,保存的表型结构化数据。元数据和表数据存放在mysql中
数据仓库:为某种目的,结构化/半结构化数据,表数据本身不一定放在数据仓库中,还可以放在hdfs中。结构存放在mysql中。
select * from tables where table_name = ‘userinfos’ 元数据 表
select * from columns where table_name = ‘userinfos’ 元数据 列

数据仓库分层

DW: data warehouse 数据仓库
ODS层 (外部表) 原始数据层
存放原始数据,直接加载原始日志、数据,数据保持原貌不做处理。
DWD层 (内部表) 明细数据层
结构和粒度与ods层保持一致,对ods层数据进行清洗(去除空值,脏数据,超过极限范围的数据)。
DWS层 服务数据层
以dwd为基础,进行轻度汇总,一般聚集到以用户当日,设备当日,商家当日,商品当日等等的力度。在这层通常会有以某一个维度为线索,组成跨主题的宽表,比如一个用户的当日的签到数、收藏数、评论数、抽奖数、订阅数、点赞数、浏览商品数、添加购物车数、下单数、支付数、退款数、点击广告数组成的多列表。
ADS层 数据应用层(也有公司或书把这层称为app层、dal层、dm层)
面向实际的数据需求,以DWD或者DWS数据为基础,组成的各种统计报表。统计结果最终同步到RDS以供BI或应用系统查询使用。

  • 3
    点赞
  • 17
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值