Hive 的 distribute by

Order by 能够预期产生完全排序的结果，但是它是通过只用一个reduce来做到这点的。所以对于大规模的数据集它的效率非常低。在很多情况下，并不需要全局排序，此时可以换成Hive的非标准扩展sort by。Sort by为每个reducer产生一个排序文件。在有些情况下，你需要控制某个特定行应该到哪个reducer，通常是为了进行后续的聚集操作。Hive的distribute by 子句可以做这件事。

[sql]  view plain copy print ?

1. // 根据年份和气温对气象数据进行排序，以确保所有具有相同年份的行最终都在一个reducer分区中  
2.   
3. From record2  
4. select year, temperature  
5. distribute by year  
6. sort by year asc, temperature desc;  

因此，distribute by 经常和 sort by 配合使用。