Phono278的博客

原创 Hive数据倾斜问题解决方案

最近一段时间主要在用Hive，前几天终于还是没有逃过经典的数据倾斜问题，备受煎熬，最后终于成功解决，这里记录一下心得。 直接上干货：解决数据倾斜问题，最大的难点在于知道为什么会倾斜！！！ 一般会造成数据倾斜的情况无外乎在使用 group by 或者 distinct 或 join 等的情况中，由于数据分布不均所引起，尤其是Join的情况居多，我这次是使用group by的时候发