Hive性能调优之Group By

默认情况下，map阶段同一key数据分发给同一reduce，如果单一key过大就很容易造成数据倾斜。（100条数据分组后一组90条，一组10条，这就会数据倾斜）

这样的话，我们就可以预先在map端进行一些聚合操作，减轻reduce端的压力。

常用参数：

--是否在 Map 端进行聚合，默认为 True
hive.map.aggr = true
--在 Map 端进行聚合操作的条目数目
hive.groupby.mapaggr.checkinterval = 100000
--有数据倾斜的时候进行负载均衡（默认是 false）
hive.groupby.skewindata = true

•  

hive分组的负载均衡策略是：

• 生成两个MR job
• 第一个MR job中的map端会随机将数据分发给reduce端，从而降低数据倾斜的发生。
• 第二个MR job在根据预处理的数据结果按照Group By Key再次分发数据完成分组。

相当于进行了一次彻彻底底的shuffle来消除数据倾斜。

示意图：