group by 操作:
1,Map端聚合:Map端进行部分聚合
hive.map.aggr用于设定是否在Map端进行聚合,默认hive.map.aggr=true,version:0.10.0
另外,hive.groupby.mapaggr.checkinterval=100000用于设定Map端进行聚合的操作条目
2,数据倾斜:
hive.groupby.skewdata设定是否在数据分布不均衡,即发生倾斜时进行负载均衡,当选项为hive.groupby.skewdata=true时,生成的查询计划会有两个MapReduce,在第一个MapReduce中,Map的输出结果会随机地分不到Reduce中,对Reduce做部分聚合操作并输出结果,是相同的Group by key有可能分发到
不同的reduce中,从而达到负载均衡的目的,第二个MapReduce任务在根据预处理的数据按照Group by key分不到Reduce中(保证Group by key 分布同一个Reduce),最后完成最终的聚合操作