关闭

hive 数据倾斜查询优化

975人阅读 评论(0) 收藏 举报
分类:
最近发现一个JOB执行时间很长,查看日志发现卡在了reduce 99%上,一般卡在reduce最后阶段很大原因都是数据倾斜问题,这个SQL形如:
select
a.id,
a.puid,
a.os,
a.dm,
a.cbn,
a.cbv,
a.area,
a.dis,
case when b.sex is not null and b.sex <> '' and b.sex <> 'null' then b.sex else a.sex end as sex, -- 性别
if(b.age > 0 ,b.age,a.age) as age, -- 年龄
a.carr,
a.eb,
a.inc,
a.ft,
a.ftv,
a.fpage,
a.lt,
a.ltv,
a.chal,
a.tday,
a.tn,
a.tt,
a.tp,
a.trkw,
a.tclk, 
if(c.mobile >0 ,c.mobile,a.cpn) as cpn,
case when d.email is not null and d.email <> '' and d.email <> 'null' then d.email else a.mail end as mail 
from DD_B_Basic_U3_Web_User_Profile a 
left outer join DD_B_Basic_U3_1_SexAge b 
on a.puid = b.uid 
left outer join DD_B_Basic_U3_1_mobile c 
on a.puid = c.uid 
left outer join DD_B_Basic_U3_pspt_Email d 
on a.puid = d.puid 
where a.dt = '20151117' 

一张大表:DD_B_Basic_U3_Web_User_Profile

三张小表:DD_B_Basic_U3_1_SexAge    DD_B_Basic_U3_1_mobile    DD_B_Basic_U3_pspt_Email

一张大表left join三张小表,在join的时候出现了数据倾斜,一般join产生的数据倾斜可以把大表作为基表,然后通过map side join来解决,直接去掉reduce阶段,这样就不会卡在reduce 99%的问题上了。

在hive中可以调整hive.auto.convert.join.noconditionaltask.size这个参数来指定map side join触发的最大阀值,调大这个值,直到sql explain的时候出现如下 map reduce local work操作的时候,恭喜你现在的sql已经编程map side join了。


这个参数的设置因量力而行,不宜设置太大,默认是10M,根据自己内存的大小来设置,这里我改成了60M之后我的SQL变成了map side join了。如果两个大表join出现数据倾斜了,而任何一张大表都大到无法装载在内存中的时候,就不能采用这种方式了。

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:1664836次
    • 积分:16176
    • 等级:
    • 排名:第663名
    • 原创:309篇
    • 转载:141篇
    • 译文:1篇
    • 评论:275条
    最新评论