hive中数据排序

(1)order by

对全局数据的排序,只有一个reduce

select * from emp order by id desc;

(2)sort by

对每个reduce内部数据进行排序,对于全局数据结果来说不是排序的。

//设置reduce的个数
set mapreduce.job.reduces=3;
select * from emp sort by id desc;

(3)distribute by

指定分区,这里的分区指的时mapreduce过程中的分区,通常结合sort by进行使用。

insert overwrite local directory '/path' select * from emp distribute by depmo sort by empno asc;

这里的分区会将相同的depno记录放在一个分区中。
注意:distribute by必须在sort by之前。

(4)cluster by

属于distribute by和sort by的组合,也就是当distribute by和sort by字段相同时候使用这个进行代替。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值