Hive中order by,sort by,distribute by,cluster by的区别

1、order by
(1):order by后面可以有多列进行排序,默认按字典排序。
(2):order by为全局排序。
(3):order by需要reduce操作,且只有一个reduce,无法配置(因为多个reduce无法完成全局排序)。
order by操作会受到如下属性的制约:
[java] view plain copy
set hive.mapred.mode=nonstrict; (default value / 默认值)  
  
set hive.mapred.mode=strict;  
注:如果在strict模式下使用order by语句,那么必须要在语句中加上limit关键字,因为执行order by的时候只能启动单个reduce,如果排序的结果集过大,那么执行时间会非常漫长。


2、sort by
(1) sort by 为reduce内排序。只保证每个reducer的输出有序,不保证全局有序。
(2) sort by 不受 hive.mapred.mode 是否为strict ,nostrict 的影响

3、distribute by

按照指定的key分发数据,并保证key相同的会被划分到同一个reduce。
如:insert overwrite local directory '/home/hadoop/out' select * from test order by name distribute by length(name);  
此方法会根据name的长度划分到不同的reduce中,最终输出到不同的文件中。 

4、cluster by
cluster by  key = distribute by key sort by key desc  ,是一个简写。cluster by只能降序排序。

  • 3
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值