hive 数据倾斜查询优化

原创 2015年11月18日 11:43:56
最近发现一个JOB执行时间很长,查看日志发现卡在了reduce 99%上,一般卡在reduce最后阶段很大原因都是数据倾斜问题,这个SQL形如:
select
a.id,
a.puid,
a.os,
a.dm,
a.cbn,
a.cbv,
a.area,
a.dis,
case when b.sex is not null and b.sex <> '' and b.sex <> 'null' then b.sex else a.sex end as sex, -- 性别
if(b.age > 0 ,b.age,a.age) as age, -- 年龄
a.carr,
a.eb,
a.inc,
a.ft,
a.ftv,
a.fpage,
a.lt,
a.ltv,
a.chal,
a.tday,
a.tn,
a.tt,
a.tp,
a.trkw,
a.tclk, 
if(c.mobile >0 ,c.mobile,a.cpn) as cpn,
case when d.email is not null and d.email <> '' and d.email <> 'null' then d.email else a.mail end as mail 
from DD_B_Basic_U3_Web_User_Profile a 
left outer join DD_B_Basic_U3_1_SexAge b 
on a.puid = b.uid 
left outer join DD_B_Basic_U3_1_mobile c 
on a.puid = c.uid 
left outer join DD_B_Basic_U3_pspt_Email d 
on a.puid = d.puid 
where a.dt = '20151117' 

一张大表:DD_B_Basic_U3_Web_User_Profile

三张小表:DD_B_Basic_U3_1_SexAge    DD_B_Basic_U3_1_mobile    DD_B_Basic_U3_pspt_Email

一张大表left join三张小表,在join的时候出现了数据倾斜,一般join产生的数据倾斜可以把大表作为基表,然后通过map side join来解决,直接去掉reduce阶段,这样就不会卡在reduce 99%的问题上了。

在hive中可以调整hive.auto.convert.join.noconditionaltask.size这个参数来指定map side join触发的最大阀值,调大这个值,直到sql explain的时候出现如下 map reduce local work操作的时候,恭喜你现在的sql已经编程map side join了。


这个参数的设置因量力而行,不宜设置太大,默认是10M,根据自己内存的大小来设置,这里我改成了60M之后我的SQL变成了map side join了。如果两个大表join出现数据倾斜了,而任何一张大表都大到无法装载在内存中的时候,就不能采用这种方式了。

相关文章推荐

【Hive】Hive笔记:Hive调优总结——数据倾斜,join表连接优化

数据倾斜即为数据在节点上分布不均,是常见的优化过程中常见的需要解决的问题。常见的Hive调优的方法:列剪裁、Map Join 操作、 Group By 操作、合并小文件。   一、表现 1....

Hive的HQL语句及数据倾斜解决方案

Hive环境的搭建在这里也不重复说了,安装配置可以查看我的这篇文章:http://blog.csdn.net/sdksdk0/article/details/51512031。在这里主要是分享一下HQ...
  • sdksdk0
  • sdksdk0
  • 2016年06月14日 23:05
  • 12209

Hive 数据倾斜解决方案(调优)

在做Shuffle阶段的优化过程中,遇到了数据倾斜的问题,造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和,优化是基于这些Counters得出的平...

Delphi7高级应用开发随书源码

  • 2003年04月30日 00:00
  • 676KB
  • 下载

hive大数据倾斜总结

在做Shuffle阶段的优化过程中,遇到了数据倾斜的问题,造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和,优化是基于这些Counters得出的平...

hive join 数据倾斜 真实案例

hive或者MR处理数据,不怕数据量大,就怕倾斜。本博主就遇到了一个真实案例,特意记录下来,有需要的同学可以参考1.查了5个小时还没结束的sql语句set mapred.reduce.tasks = ...

hive-数据倾斜解决详解

hive在跑数据时经常会出现数据倾斜的情况,使的作业经常reduce完成在99%后一直卡住,最后的1%花了几个小时都没跑完,这种情况就很可能是数据倾斜的原因,解决方法要根据具体情况来选择具体的方案 ...

hive如何应对数据倾斜

数据倾斜 概念:数据倾斜是指,map /reduce程序执行时,reduce节点大部分执行完毕,但是 有一个或者几个reduce节点运行很慢,导致整个程序的处理时间很长,这是因为某一 ...

hive大数据数据倾斜原因与解决方案总结

在做Shuffle阶段的优化过程中,遇到了数据倾斜的问题,造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和,优化是基于这些Counters得出的平...

hive数据倾斜原因和解决方法

在做Shuffle阶段的优化过程中,遇到了数据倾斜的问题,造成了对一些情况下优化效果不明显。主要是因为在Job完成后的所得到的Counters是整个Job的总和,优化是基于这些Counters得出的平...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:hive 数据倾斜查询优化
举报原因:
原因补充:

(最多只允许输入30个字)