Hive 排序

Hive 提供了四种排序
ORDER BY,对结果集进行全局排序,数据规模较大时,比较耗时。

Sort By,指出数据在每个reducer内如何排序的,通常与distribute by一起使用。

Distribute By,控制Map输出在Reducer中的划分。

Cluster By,相当于distribute by和sort by结合。

一、使用 ORDER BY 子句排序
Order By:全局排序,只有一个 Reducer

ASC(ascend): 升序(默认)

DESC(descend): 降序

ORDER BY 子句在 SELECT 语句的结尾。

二、使用Sort By 子句排序
Sort By:对于大规模的数据集 order by 的效率非常低。在很多情况下,并不需要全局排 序,此时可以使用 sort by。
Sort by 为每个 reducer产生一个排序文件。每个Reducer内部进行排序,对全局结果集 来说不是排序。 

三、使用Distribute By子句排序
Distribute By: 在有些情况下,我们需要控制某个特定行应该到哪个 reducer,通常是为了进行后续的聚集操作。distribute by 子句可以做这件事。distribute by 类似 MR 中 partition(自定义分区),进行分区,结合 sort by 使用。
对于 distribute by 进行测试,一定要分配多 reduce进行处理,否则无法看到 distribute by 的效果。

四、使用Cluster By子句排序
当 distribute by 和 sort by 字段相同时,可以使用 cluster by 方式。
cluster by 除了具有 distribute by 的功能外还兼具 sort by的功能。但是排序只能是升序排序,不能指定排序规则为 ASC 或者 DESC。

  • 3
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值