数仓实操第六讲

本文介绍了数据仓库DWS建设的关键点,包括与业务方沟通确定指标,统一口径,粒度划分,周期划分,以及如何通过子查询减少资源消耗。举例说明了DWS模型的构建,涉及打卡、工时、加班等统计,并详细列出相关派生指标。
摘要由CSDN通过智能技术生成

建设实践第六讲 

之前增量dwd回顾注意点:半夜打卡的, 前一天的早10点前,到前第二天的早10点后都算
[百度搜索 踏踏实实练sql, 那个B站站主是某大厂数仓大佬,可加好友学习,他人很好]

dws注意点1: 最早上班时间点, 是有问题的, dwd派生指标数据类型一般为 bigint double等,datatime类似标签
dws注意点2: 上午缺卡数据,这个指标有点复杂, 单独去写个子查询
dws提示点3: 用子查询,然后left join,用子查询,可以控制数据的列和行数, 减少资源消耗 

DWS建设
DWS做什么指标,一定要和业务方沟通,看业务方想要什么样的
(ods,dwd 就join做关联, dws 就groupby聚合统计做指标, ads selectwhere做标签)
(dwd只放原子指标, dws放派生指标)
1.为了保证ads做出来的指标口径一致,减少重复计算,提高ads复用
2,颗粒度, 比如我工作的数据, 颗粒度就可以划分为 比赛 赛季 赛事等, 不能杂糅在一起,会数据膨胀)
3,周期,30天 60天 90天,同一个指标,可以做不同周期的, 一个指标有几个, dws里有几十个指标


dws到底要做什么事?
dws是按照颗粒度、维度等进行聚合产生的汇总数据模型
(1)保障的是指标口径统一,能够为ads提供复用
(2)对dw

评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值