优化整体思路
- 如果资源充足就加资源加内存,
- 调度链路优化,调整调度顺序,时效性要求高的模型先产出,
- 数据接入模块,调优数据接入工具sqoop,datax
- 模型设计质量不高,调整模型,提高质量和复用度,尽可能减少join
- hive参数调优
- sql调优,数据倾斜,join原则
模型优化
存储类型:parquet
压缩类型:Snappy
分区:PARTITIONED BY (DT String
模型设计:字段类型,字段冗余,主键等,历史表,拉链表
一、SQL执行顺序
代码写的顺序:om ( select distinct user_id
select ... from .a join b. on .. where.... group by... having... order by..
msyql语句执行顺序 :
from. join . on . where...group by... having.... select ... order by...
hive 语