hive排序:四个排序区别 不要太香哦

order by全局排序

  1. 只使用一个Reducer执行全局数据排序

  2. 速度慢,应提前做好数据过滤

  3. 支持使用CASE WHEN或表达式

  4. 支持按位置编号排序

    select * from offers order by case when offerid = 1 then 1 else 0 end;
    select * from offers order by 1;

sort by内部排序

  1. 对每一个Reduce的结果进行排序,为了看出效果,我们多设置几个Reduce,查看每个Reduce的结果是否是排序的
    set mapreduce.job.reduces=3;

  2. 根据部分编号降序查看员工信息

    select * from emp sort by empno desc;

Distribute By分区排序

  1. 确保具有匹配列值的行被分区到相同的Reducer

  2. 不会对每个Reducer的输出进行排序

  3. Distribute by类似MR中partition(自定义分区),进行分区,结合sort by使用

  4. 测试时要分配多个reduce进行处理,否则无法看到Distribute by的效果
    select
    department_id , name, employee_id, evaluation_score
    from
    employee_hr
    distribute by
    department_id sort by evaluation_score DESC;

cluster by

  1. cluster by = Distribute by + sort by

  2. 只能默认升序,不能使用倒序(ASC|DESC)

  3. 排序列必须出现在select column列表中

  4. 为了充分利用所有的Reducer来执行全局排序,可以先使用cluster by,然后使用order by

    select name, employee_id from employee_hr cluster by name;

  • 3
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值