数据百问系列之七： 在Hive中遇到了数据倾斜该如何处理？

本次讨论的主题是： 在Hive中遇到了数据倾斜该如何处理？

问题：

你在工作中有哪些小技巧或者套路来处理数据数据倾斜问题？

分析：

本话题是一个发散性的话题，并没有限制太多的内容，主要是想跟大家讨论一下当我们在工作中遇到数据倾斜的时候，大家都是怎么处理这一类问题的，有什么小技巧或者套路来处理这一块的问题?

对于这个话题，我觉得群友们的讨论已经很极致了，所以下面的文章中我就根据大家讨论的情况及个人的一些理解对这个话题进行一个整理与总结。

首先我觉得可能需要弄懂什么是数据倾斜？
有一句话叫“80%的利润是由20%的用户提供的”，通俗点理解的话，数据倾斜无非是大量的相同key被partition分配到一个分区里,造成了’一个人累死,其他人闲死’的情况，即当其他reducer的任务都完成了的时候，还有某一个或几个reducer还在不停地工作中。表现在任务进度条上则是长时间维持在99%左右而任务监控页面尚有一个或多个的reduce子任务还没完成。

其次是HIVE中为什么会产生数据倾斜？
HIve中的数据倾斜一般表现在group by、join和count(disctinct)等操作 上，和数据逻辑的绑定比较深。而在执行这些操作时会触发shuffle动作，一旦触发，所有相同的Key就会被拉到一个或几个节点上，就很容易发生单点问题。具体的原因可以归纳为：

• 1、Key分布不均匀：如上所说，当执行shuffle操作时，相同的key会被拉到一个或几个节点上， 如果key分布不