Hive的sort by, order by, distribute by, cluster by区别

Hive的order by语句和其他的SQL语言的定义是一样的，其会对查询结果集执行一个全局排序。这也就是说会有一个所有的数据都通过一个reducer进行处理的过程。对于大数据集，这个过程可能会消耗太过漫长的时间来执行。

  Hive增加了一个可供选择的方式，也就是sort by，其只会在每个reducer中对数据进行排序，也就是执行一个局部排序的过程。这可以保证每个reducer的输出数据都是有序的(但并非全局有序)。这样就可以提高后面进行的全局排序的效率。
  使用sort by，你可以指定执行的reduce个数（set mapred.reduce.tasks=<number>），对输出的数据再执行归并排序，即可以得到全部结果。

  要想使用Hive实现全排序：
  1.使用order by，但这样默认了reducer个数为1，效率低下。
  2.使用sort by + order by。sort by会保证每个reducer的输出文件是有序的（其实是废话，每个reducer的输出当然是有序的！），要想实现全排序，还得加一个order by的过程，就是对sort by的reduce输出结果再进行一次排序。sort by为每个reducer产生一个排序文件。

 

在有些情况下，你需要控制某个特定行应该到哪个reducer，通常是为了进行后续的聚集操作。hive的distribute by 就派上用场了：
                               From table
                               select year,temperature
                               distribute by year
                               sort by year asc,temperatue desc;

  上面实现了局部排序，且规定了：根据年份和气温对气象数据进行排序，以确保所有具有相同年份的行最终都在一个reducer分区中（文件下），可以看出，distribute by经常与 sort by一起使用。。
  需要注意的是，hive要求distribute by要写在sort by之前。

  cluster by:cluster by column = distribute by column + sort by column

 

转载于:https://my.oschina.net/u/4085644/blog/3020166