Hive中数据倾斜解决实例

Hive中数据倾斜的表面原因可能各种各样，但是底层都是一个Reducer的节点计算压力过大，造成某一个节点一直在运算造成的。

今天运行SQL的时候，遇到了一次，分享下（由于数据使用公司数据，表名都重新换过，数据量保持不变）

表名信息如下，假设有两张表:

• tmp_user，数据量：267772
• tmp_user_log,数据量：5,617,310,131

初始SQL如下：

  SELECT /*+mapjoin(a)*/b.user_type_id
,count(distinct certi_no) certi_no
  FROM tmp_user a
  JOIN tmp_user_log b
    ON a.user_id = b.user_id
GROUP BY b.user_type_id
  ;

上述逻辑就是查看不同用户类型下的身份证数量，运行结果如下

| user_type_id | certi_no   |
+--------------+------------+
| 11           | 114982     |
| 12           | 26654      |

而这段SQL运行了大约6分多钟，其中主要卡在下面

可以看出确实是有倾斜，那么怎么解决呢？

因为本人有点懒，遇到这种问题向来第一反应是，弄张临时表，然后临时表再去 coun