-
Hive 提供了四种排序
ORDER BY,对结果集进行全局排序,数据规模较大时,比较耗时。
Sort By,指出数据在每个reducer内如何排序的,通常与distribute by一起使用。
Distribute By,控制Map输出在Reducer中的划分。
Cluster By,相当于distribute by和sort by结合。
一、使用 ORDER BY 子句排序
Order By
:全局排序,只有一个 Reducer
ASC(ascend): 升序(默认)
DESC(descend): 降序
ORDER BY 子句在 SELECT 语句的结尾。
二、使用Sort By 子句排序
Sort By:对于大规模的数据集 order by 的效率非常低。在很多情况下,并不需要全局排 序,此时可以使用 sort by。
Sort by 为每个 reducer
产生一个排序文件。每个Reducer
内部进行排序,对全局结果集 来说不是排序。
三、使用Distribute By子句排序
Distribute By: 在有些情况下,我们需要控制某个特定行应该到哪个 reducer,通常是为了进行后续的聚集操作。distribute by 子句可以做这件事。distribute by 类似 MR 中 partition(自定义分区),进行分区,结合 sort by 使用。
对于 distribute by 进行测试,一定要分配多 reduce进行处理,否则无法看到 distribute by 的效果。