数仓

数据仓库:

Data Warehouse,简写成DW。

数据库和数据仓库的区别:

数据库:传统关系型数据库的应用主要是OLTP(On-Line Transaction Processing),主要是基本的、日常的事务处理,如银行交易。
数据仓库:数据仓库的主要应用是OLAP(On-Line Analytical Processing),支持复杂的分析操作,侧重决策支持,并且提供直观易懂的查询结果。

功能数据库数据仓库
数据范围当前状态数据存储历史、完整、反映历史变化数据
数据变化支持频繁的增删改查操作可增加、查询,无更新、删除操作
应用场景面向业务交易流程面向分析、支持侧重决策分析
处理数据量频繁、小批次、高并发、低延迟非频繁、大批量、高吞吐、有延迟
设计理论遵循数据库三范式、避免冗余违范式、适当冗余
建模方式ER实体关系建模(范式建模)范式建模+维度建模

数据分层

数据操作层(ODS)—数据仓库层(DW)—数据集市层(DM)
ODS
.Operational Data Store,本层数据为源数据ETL来,最接近源数据
DW
(1)DWD 数据明细层(Data Warehouse Detail)数据明细层,该层保持和ODS同样的数据粒度,即行数不变,删除不必要的维度,即列数减少;
(2)DWM 数据中间层(Data Warehouse Middle)该层对数据做轻度聚合;
(3)DWS 数据服务层(Data Warehouse Service)该层数据表较少,为大宽表;用于后续业务查询和OLAP分析
DM
数据应用层,得到某一主体的报表;

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值