举个例子:
SELECT COUNT( DISTINCT name) FROM table ;
由于引入了DISTINCT,因此在Map阶段无法利用combine对输出结果去重,必须将name作为Key输出,在Reduce阶段再对来自于不同Map Task、相同Key的结果进行去重,计算。这就导致作业运行时的Reduce Task个数为1,唯一的Reduce Task需要Shuffle大量的数据,并且进行排序聚合等处理,这使得它成为整个作业的IO和运算瓶颈。
我们利用Hive对嵌套语句的支持,将原来一个MapReduce作业转换为两个作业,在第一阶段选出全部的非重复name,在第二阶段再对这些已去重的name进行计数。这样在第一阶段我们可以通过增大Reduce的并发数,并发处理Map输出。在第二阶段,由于name已经去重,因此COUNT(*)操作在Map阶段不需要输出原name数据,只输出一个合并后的计数即可。这样即使第二阶段Hive强制指定一个Reduce Task,极少量的Map输出数据也不会使单一的Reduce Task成为瓶颈。改进后的SQL语句如下:
改进后的SQL语句如下:
SELECT COUNT(*) FROM (SELECT DISTINCT name FROM table) t;