hive order by sort by distribute by cluster by

Hive中的order by用于全局排序,需要配合limit使用,而sort by则在每个reducer内进行局部排序。cluster by相当于distribute by和sort by的组合,保证相同列值的行在同一reducer并排序。distribute by仅负责分区,不保证排序。在Hive 3.0.0及以上版本,无limit的order by/sort by在子查询和视图中会被移除。
摘要由CSDN通过智能技术生成

order by 语法
Hive QL中的order by 类似于SQL语言中的ORDER BY语法。
排序方式:ASC|DESC
空值排序方式:NULLS FIRST|NULLS LAST
语法:order by 字段名称 ASC|DESC [NULLS FIRST|NULLS LAST]

“ order by”子句中有一些限制。在严格模式下(即hive.mapred.mode = strict),必须在order by子句后跟一个“ limit”子句。如果将hive.mapred.mode设置为nonstrict,则limit子句不是必须的。Order by 会对查询结果集执行一个全局排序。这也就是说会有一个所有的数据都通过一个reducer进行处理的过程。对于大数据集,这个过程可能会消耗太过漫长的时间来执行。
所以,为了避免这种情况发生,一个优化方案为:hive.mapred.mode=strict。(colin总结)

请注意,列是通过名称而不是位置编号指定的。但是,在Hive 0.11.0和更高版本中, 按以下方式配置时可以按位置指定列:

对于Hive 0.11.0到2.1.x,将hive.groupby.orderby.position.alias设置 为true(默认值为false)。
对于Hive 2.2.0和更高版本, 默认情况下, hive.orderby.position.alias为true。

默认排序顺序为升序(ASC)。

在Hive 2.1.0和更高版本中,支持为“ order by”子句中的每个列指定空排序顺序。ASC顺序的默认空排序顺序为NULLS FIRST,而DESC顺序的默认空排序顺序为NULLS

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值