DWD层做了哪些事？
1.数据清洗
（1）空值去除
（2）过滤核心字段无意义的数据，比如订单表中订单id为null，支付表中支付id为空
（3）将用户行为宽表和业务表进行数据一致性处理
select case when a is null then b else a end as JZR,
…
from A
2.清洗的手段
HQL、MR、SparkSQL、Kettle、Python（项目中采用sql进行清除）
3. 清洗掉多少数据算合理
1万条数据清洗掉1条。
4.脱敏
对手机号、身份证号等敏感数据脱敏
5. 维度退化
对业务数据传过来的表进行维度退化和降维。（商品一级二级三级、省市县、年月日）
1217
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
