hive中的排序的使用

本文介绍了Hive中用于排序的四个关键操作:order by用于全局排序,但可能因大数据量导致性能问题;sort by在每个reducer内部进行排序,对全局数据不保证有序;distribute by根据指定字段分配到不同reducer,常用于聚集操作预处理;cluster by是distribute by和sort by的组合,但只支持升序排序。
摘要由CSDN通过智能技术生成

order by

  • hive中如果需要对全部数据进行排序,可以使用order by操作
select (查询内容) 
from table 
order by (排序条件) (升序降序) 
limit (展示条数);
  • 注意:如果数据量太大的话,有可能会导致一个Reducer应付不过来。

sort by

  • hive中如果数据量太大的话可以使用sort by,sort by为每个reducer产生一个排序文件,每个reducer内部进行排序,对全局结果来说并不是有序的。
select 
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值