hive中的order by+sort by+distribute by+cluster by

order by 

 它会对输出数据做全局排序,因此在order by 过程中会将所有数据放入一个reduce(如果是多个reduce的话则不能保证order by 后数据是有序的),当数据量大时,一个reduce的处理压力就成了问题。

当 set hive.mapred.mode=nonstrict (默认值)时,hive会正常处理order by 。

当 set hive.mapred.mode=strict 时,则在使用order by 时需加上 limit 进行输出限制,否则会报错。

所以在使用order by 的时候,最好是加上limit进行输入结果限制,这是个好习惯,同时也可以减少一个reduce的输出压力。

支持: asc/desc

注意:当 set hive.mapred.mode=strict后,会影响到以下的查询:1,查询分区表必须指定相应分区否则会报错;2,执行笛卡尔积会报错。

sort by 

会对输出结果局部排序,其在数据进入reducer前完成排序。

因此,如果用sort by进行排序,并且设置mapred.reduce.tasks>1, 则sort by只保证每个reducer的输出有序,不保证全局有序。
sort by 不受 hive.mapred.mode 是否为strict ,nostrict 的影响
sort by 的数据只能保证在同一reduce中的数据可以按指定字段排序。
使用sort by 你可以指定执行的reduce 个数 (set mapred.reduce.tasks=<number>),对输出的数据再执行归并排序,即可以得到全部结果。

支持:asc/desc
注意:可以用limit子句大大减少数据量。使用limit n后,传输到reduce端(单机)的数据记录数就减少到n* (map个数)。否则由于数据过大可能出不了结果。

distribute by 

会按指定的字段,将数据划分到不同的reduce。也就是相当于mapreduce过程中的partition。

select classid,name from users distribute by classid ; 会将相同的classid划分到同一个reduce中,同一个reduce可以有多个不同classid的值。

注意:可以用distribute by + sort by 取代order by (但是无法全局排序),这也是一种优化手段。

cluster by

cluster by 除了具有 distribute by 的功能外还兼具 sort by 的功能。 
但是排序只能是倒序排序,不能指定排序规则为asc 或者desc。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值