Hive SQL优化一之DISTINCT

举个例子：

SELECT COUNT( DISTINCT name) FROM table ;

由于引入了DISTINCT，因此在Map阶段无法利用combine对输出结果去重，必须将name作为Key输出，在Reduce阶段再对来自于不同Map Task、相同Key的结果进行去重，计算。这就导致作业运行时的Reduce Task个数为1，唯一的Reduce Task需要Shuffle大量的数据，并且进行排序聚合等处理，这使得它成为整个作业的IO和运算瓶颈。

我们利用Hive对嵌套语句的支持，将原来一个MapReduce作业转换为两个作业，在第一阶段选出全部的非重复name，在第二阶段再对这些已去重的name进行计数。这样在第一阶段我们可以通过增大Reduce的并发数，并发处理Map输出。在第二阶段，由于name已经去重，因此COUNT(*)操作在Map阶段不需要输出原name数据，只输出一个合并后的计数即可。这样即使第二阶段Hive强制指定一个Reduce Task，极少量的Map输出数据也不会使单一的Reduce Task成为瓶颈。改进后的SQL语句如下：

改进后的SQL语句如下：

SELECT COUNT(*) FROM (SELECT DISTINCT name FROM table) t;