name | function |
---|---|
操作数据层 ods(或stage,Operational Data Store缩写 ) | 从业务库直接抽取,不做格式转换,相当于线上数据的镜像或是备份 |
明细数据层 dwd (data warehouse details) | 从ods层抽取数据,做数据清洗和规范化的操作(格式、枚举值统一) |
汇总数据层 dws(data warehouse summary) | 对dwd层数据按照主题进行汇总,做成大宽表,方便查询 |
应用数据层 ads(application data service) | 结果指标性数据,对接报表展示,运营查询 |
备注
操作数据层ods
- 数据来源
1、客户端sdk、前端js埋点、后端服务器埋点产出的数据
2、业务库中的数据,用户注册、交易等
明细数据层和汇总数据层之间的区别
dws将dwd层的数据按主题进行汇总,按照主题放到一个表中,比如用户主题下会将用户注册信息、用户收货地址、用户的征信数据放到同一张表中&