目录
建模
数仓分层架构
- ODS
- DWD
- DWS
- ADS
DWD 和 DWS 按业务线划分和主题域划分,但是其中又有一些不同
业务线我们分为 陪玩,直播间,聊天室 三个业务线
主题的话,以直播间为例,可以分为用户(也可以换个名字叫行为主题域等,主要是指用户的日志行为,曝光点击浏览时长点赞评论弹幕等等),会员(VIP用户),直播间,主播,订单(打赏),流水(用户充值,主播提现),流量(登录,session等)
但是呢,又发现各个主题并没有办法完全隔离,像会员就是用户的一种(所以DWS层不需要额外统计,DWT有就行了),流量也是用户的一种行为
ODS
存储的都是原始数据,比如直接从业务表同步的全量数据,或者订单用户等拉链表原始数据,原始的日志数据(可以是一个String字段的表,也可以并建议是已经处理成原始数据的表)