hive order by sort by distribute by cluster by

最新推荐文章于 2024-07-14 09:02:56 发布

科林数据

最新推荐文章于 2024-07-14 09:02:56 发布

阅读量463

点赞数

分类专栏： hive 文章标签： order by

本文链接：https://blog.csdn.net/weixin_38491020/article/details/103152536

版权

Hive中的order by用于全局排序，需要配合limit使用，而sort by则在每个reducer内进行局部排序。cluster by相当于distribute by和sort by的组合，保证相同列值的行在同一reducer并排序。distribute by仅负责分区，不保证排序。在Hive 3.0.0及以上版本，无limit的order by/sort by在子查询和视图中会被移除。

摘要由CSDN通过智能技术生成

order by 语法
Hive QL中的order by 类似于SQL语言中的ORDER BY语法。
排序方式：ASC|DESC
空值排序方式：NULLS FIRST|NULLS LAST
语法：order by 字段名称 ASC|DESC [NULLS FIRST|NULLS LAST]

“ order by”子句中有一些限制。在严格模式下（即hive.mapred.mode = strict），必须在order by子句后跟一个“ limit”子句。如果将hive.mapred.mode设置为nonstrict，则limit子句不是必须的。Order by 会对查询结果集执行一个全局排序。这也就是说会有一个所有的数据都通过一个reducer进行处理的过程。对于大数据集，这个过程可能会消耗太过漫长的时间来执行。
所以，为了避免这种情况发生，一个优化方案为：hive.mapred.mode=strict。（colin总结）

请注意，列是通过名称而不是位置编号指定的。但是，在Hive 0.11.0和更高版本中，按以下方式配置时可以按位置指定列：

对于Hive 0.11.0到2.1.x，将hive.groupby.orderby.position.alias设置为true（默认值为false）。
对于Hive 2.2.0和更高版本，默认情况下， hive.orderby.position.alias为true。

默认排序顺序为升序（ASC）。

在Hive 2.1.0和更高版本中，支持为“ order by”子句中的每个列指定空排序顺序。ASC顺序的默认空排序顺序为NULLS FIRST，而DESC顺序的默认空排序顺序为NULLS