[Hive排序]--4种排序方式介绍

已于 2023-03-14 09:49:23 修改
阅读量2.2w 收藏 14
点赞数 3
分类专栏： Apache Hive 数据湖仓 架构设计 文章标签： hive hadoop
于 2017-09-17 18:53:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/high2011/article/details/78012317
版权
本文详细介绍了Hive中的四种排序方式：order by（全局排序）、sort by（局部排序）、cluster by（分区分组排序）和distribute by（分发）。order by需配合limit使用，保证全局排序；sort by仅保证每个reducer的输出有序；cluster by同时进行分发和排序；distribute by用于控制数据的分发。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

了解本专栏 订阅专栏 解锁全文 超级会员免费看
Hive 对array/数组 字段 排序
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
05-18 2932
Hive 数组排序 SELECT memberid, collect_list(cast(airways as string)), concat_ws(',', collect_list(cast(airways as string))), sort_array(collect_list(cast(airways as string))) from ( select 1 as memberid, 'A
深度解析 Hive 排序命令：ORDER BY、SORT BY、DISTRIBUTE BY、CLUSTER BY
2401_83088008的博客
03-23 480
四个命令的设计体现了 Hive 在排序精度和处理性能ORDER BY是牺牲性能的绝对排序SORT BY是兼顾性能的局部排序是数据分布的底层控制CLUSTER BY是特定场景的语法糖Map 阶段负责数据读取与初步处理，Reduce 阶段负责数据聚合与最终排序。合理组合使用这四个命令，能让您在 Hive 开发中既保证结果正确性，又获得良好的性能表现。
hive 排序
hyunbar的博客
10-23 961
1、全局排序（order by） Order by：全局排序，只有一个reducer ASC（ascend）：升序（默认） DESC（descend）：降序 2、每个MR内部排序（sort by） sort By：对于大规模的数据集order by的效率非常低。在很多情况下，并不需要全局排序，此时可以使用sort by Sort By为每个Reducer产生一个排序文件。每个Reduce...
大数据之hive_hive的排序方式
WuBoooo的博客
09-03 1008
全局排序 Order By Order By：全局排序，一个Reducer 1．使用 ORDER BY 子句排序 ASC（ascend）: 升序（默认） DESC（descend）: 降序 2．ORDER BY 子句在SELECT语句的结尾 3．案例实操 （1）查询员工信息按工资升序排列 hive (default)> select * from emp order by sal; （2）查询员工信息按工资降序排列 hive (default)> select * from emp orde
Hive 数据排序
m0_73889404的博客
06-04 310
CLUSTER BY是DISTRIBUTE BY和SORT BY的组合，它根据指定的列进行分发和排序。在这个例子中，数据首先按照department列的值进行分发到不同的reducer，然后在每个reducer内部，数据再根据department和salary列的值进行排序。这意味着如果查询涉及到多个reducer，则每个reducer的输出会分别排序，但整个输出可能不是全局排序的。这会将数据按照department列的值分发到reducer，并在每个reducer内部按照department进行排序。
hive数据排序
m0_75280426的博客
04-23 560
当分区字段和排序字段相同Cluster By可以简化Distribute By+Sort By 的SQL写法，也就是说当Distribute By和Sort By 字段相同时，可以使用Cluster By代替Distribute By和Sort By。Cluster By 当Sistribute By和Sort By 字段相同时，可以使用Cluster By代替Distribute By和Sort By,但是Cluster By默认是升序，不能指定排序方向。升序：asc ，不需要指定，默认是升序。
apache-hive-3.1.3-bin.tar.gz
07-01
Hive 提供了一种结构化的数据模型和SQL-like 查询语言（HQL，Hive SQL），使得非程序员也能方便地对大数据进行分析。"apache-hive-3.1.3-bin.tar.gz" 是 Apache Hive 3.1.3 版本的二进制发行版，包含所有必要的文件...
apache-hive-3.1.2.bin.tar 资源 权威官网下载！
01-19
在Apache Hive 3.1.2中，用户可以利用HQL进行各种数据操作，如创建表、加载数据、执行复杂的查询、聚合、过滤和排序等。此外，Hive支持多种数据格式，包括文本文件、SequenceFile、Parquet、ORC等，这些格式都有各自...
Hive4--HIVE元数据库.pdf
07-11
尽管Hive基于Hadoop和分布式文件系统，它的元数据组织方式与传统RDBMS类似。像PostgreSQL这样的系统也公开了类似的元数据ID，而Oracle等商业数据库则更倾向于隐藏这些细节。元数据的存在使得用户能够轻松获取到数据...
hive-testbench-hive14.zip大数据TPCDS-99SQL自动测试脚本
02-25
《Hive Testbench与TPCDS：大数据性能测试与99条SQL脚本解析》 在大数据处理领域，Hive作为一个分布式数据仓库系统，被广泛应用于海量数据的存储和分析。而TPCDS（Transaction Processing Performance Council ...
Hive--HiveServer2 命令行代码连接、Hive常用命令、自定义UDF函数、排序
qq_41301707的博客
12-15 1628
Hive--HiveServer2 命令行代码连接、Hive常用命令、自定义UDF函数、排序 以下所说的都是针对 Hive 为 1.1.0-cdh5.16.2版本 1 Hive--HiveServer2 命令行代码连接 1.1 配置HiveServer2 WEB 参数 HiveServer2是一个服务端,开启之后可以通过JDBC连接 还对应一个WEB服务，开启WEB服务可以看到当前有哪些Session进行连接，以及执行了哪些语句等详细信息 开启H...
Hive排序
qq_39128254的博客
06-17 200
order by全局排序 全局排序,只用一个reducer,asc(ascend)升序(默认) desc(descend)降序 select * from emp order by sal; select * from emp order by sal desc; select ename,sal*2 twosal from emp order by twosal; select ename, d...
hive排序
最自由的笑的博客
06-26 289
准备阶段 准备一个保存员工信息的文件 包含每个员工的姓名 部门和成绩 jack 测试 60 tom 开发 88 shy 销售 56 duke 开发 95 zoom 销售 26 penut 销售 63 leyan 销售 77 jkl 开发 54 ning 测试 12 faker 销售 99 wwk 销售 68 baolan 测试 55 uzi 测试 66 letme 开发 78 然后创建一个myuser表 create external table myuser ( name string,
HIVE排序
qq_33361080的博客
09-14 309
1.官方文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+SortBy 启动时的一些提示信息 In order to change the average load for a reducer (in bytes):   set hive.exec.reducers.bytes.per.reducer=<...
Hive的排序
yxk_nuli的博客
08-31 492
HIVE中的排序 Order by 是只通过一个reduce进行的完全的排序结果，对于特别大的数据集时候效率太慢，在多数情况下不需要进行全局排序。 此时换成Hive的sort by进行排序，sort by为每一个reduce进行排序，为每一个reducer产生一个排序文件。 在某些特殊的情况下，你需要控制某个特定行应该到哪个reducer，通常是为了进行后续的聚集操作。Hive的distri...
Hive 的 排序
anx50588的博客
11-12 142
全排序：order by对全部所有的数据进行排序，在实现的时候是放到一个reduce中进行的，可以想象这样做效率是比较低的； 局部排序：sort by对数据进行分组，然后在组内进行排序，每个reduce分别进行自己的排序； row_num()函数:row_num函数通常用over(partition by id)，把后面相同id的划分为一组，对这一组内的数据来进行排列； ...
头歌hive--桶表
最新发布
04-03
### Hive 中桶表的概念及用法 #### 什么是桶表？ 在 Hive 中，桶表是一种用于提高查询性能的技术。它通过对数据进行哈希分布并存储到不同的文件夹（即“桶”）中来实现更高效的查询操作[^1]。这种技术特别适用于大规模分布式环境下的数据分析。 #### 创建桶表 创建桶表时需要指定 `CLUSTERED BY` 和 `SORTED BY` 子句。其中： - **CLUSTERED BY** 表示按照哪些字段对数据进行分桶。 - **SORTED BY** 则表示在每个桶内如何对数据排序。 下面是一个典型的创建桶表的例子： ```sql CREATE TABLE my_partitioned_bucketed_table ( col1 INT, col2 STRING ) PARTITIONED BY (dt STRING, country STRING) -- 分区字段 CLUSTERED BY (col1) INTO 3 BUCKETS -- 按照 col1 进行分桶，分为 3 个桶 SORTED BY (col2); -- 在每个桶内按 col2 排序 ``` 上述语句会创建一张分区和分桶相结合的表。需要注意的是，在实际使用前还需要设置一些参数以启用分桶功能[^4]。 #### 启用分桶功能 为了使分桶生效，需调整以下配置项： ```sql SET hive.enforce.bucketing = true; ``` 此选项强制启用了基于 DDL 的分桶机制，从而确保插入数据时能够自动分配至相应的桶中[^3]。 #### 数据加载与验证 向桶表插入数据通常采用如下方式完成： ```sql INSERT OVERWRITE TABLE my_partitioned_bucketed_table PARTITION(dt='2023-01-01', country='US') SELECT * FROM source_table WHERE dt='2023-01-01' AND country='US'; ``` 完成后可以通过查看底层 HDFS 文件结构确认是否成功生成多个子目录作为不同桶的结果集。 #### 查询优化 利用 explain 命令可以帮助理解 SQL 执行过程中涉及的具体物理计划细节。例如运行以下命令即可获取相应信息: ```sql EXPLAIN SELECT COUNT(*) FROM my_partitioned_bucketed_table WHERE dt='2023-01-01' AND country='US'; ``` 这有助于分析是否有潜在瓶颈存在以及评估整体效率提升情况[^2]。 ---
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oo寻梦in记

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值