Hive的四个排序 by 总结

Hive的四个排序 by 总结

• Order by (全局排序)

    全局排序 全局只有一个Reducer
  

• Sort by (分区内排序)

   分区内排序
  

• Distrbute By(分区间排序)

    分区间排序 类似MR中Partition，进行分区，结合sort by使用。
  

• Cluseter

    当Distribute by和Sorts by字段相同时，可以使用Cluster by方式。Cluster by除了具有Distribute by的功能外还兼具Sort by的功能。但是排序只能是升序排序，不能指定排序规则为ASC或者DESC。
  

1）Order By：全局排序，只有一个Reducer；
2）Sort By：分区内有序；
3）Distrbute By：类似MR中Partition，进行分区，结合sort by使用。
4） Cluster By：当Distribute by和Sorts by字段相同时，可以使用Cluster by方式。Cluster by除了具有Distribute by的功能外还兼具Sort by的功能。但是排序只能是升序排序，不能指定排序规则为ASC或者DESC。
在生产环境中Order By用的比较少，容易导致OOM。
在生产环境中Sort By + Distrbute By用的多。