hive skew join (hive join 倾斜)
1. null 造成的数据倾斜
- 提前处理关联key,j将null转为随机字符串
nvl(key1,SUBSTRING(MD5(RAND()),1,5))
--这里必须转成string 否则数据类型不一样
- 如果业务允许,直接过滤掉null
2. 字段数量不均衡造成的数据倾斜
-
让hive 自动的对skew key 进行处理
set hive.optimize.skewjoin=true
set hive.skewjoin. key= 100000;数量多于这个数,那么就会作为倾斜键处理
sethive.optimize.skewjoin.compiletime=true
注意:- 前提是inner join
- hive.optimize.skewjoin.compiletime是编译时参数,hive.optimize.skewjoin为运行时参数。前者在生成执行计划时根据元数据生成skewjoin;后者为运行过程中根据数据条数进行skewjoin优化。
-
先拼接随机数再去掉拼接部分
3. 不同数据类型关联产生数据倾斜
比如用户表中user_id字段为int,日志表中user_id字段既有string类型也有int类型。当两个表按照user_id进行Join操作时。后果是只有一个reduce任务 默认的Hash操作会按int型的id来进行分配,这样会导致所有string类型id的记录都分配到一个Reducer中。
解决方式:把数字类型转换成字符串类型