【Hive】四种排序方式

最新推荐文章于 2024-04-23 13:16:36 发布
最新推荐文章于 2024-04-23 13:16:36 发布
阅读量2k 收藏 1
点赞数
分类专栏： Hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/beautiful_huang/article/details/104476909
版权

Hive中4种排序的区别
共有四种排序：order by，sort by ，distribute by，cluster by

order by
全局排序；
对输入的数据做排序，故此只有一个reducer(多个reducer无法保证全局有序)；
只有一个reducer，会导致当输入规模较大时，需要较长的计算时间；

sort by
非全局排序；
在数据进入reducer前完成排序；
当mapred.reduce.tasks>1时，只能保证每个reducer的输出有序，不保证全局有序；

distribute by
按照指定的字段对数据进行划分输出到不同的reduce中；
常和sort by一起使用，并且distribute by必须在sort by前面；

cluster by
相当于distribute by+sort by，只能默认升序，不能使用倒序；

beautiful_huang
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
[Hive排序]--4种排序方式介绍
欢迎来到我的博客，一起探索代码里的世界！
09-17 2万+
一、官方文档 https://cwiki.apache.org/confluence/display/Hive/Home https://cwiki.apache.org/confluence/display/Hive/LanguageManual https://cwiki.apache.org/confluence/display/Hive/LanguageManual+SortBy ...
四种排序方式
ILikeYouJustYou的博客
04-28 466
四种排序方式 选择排序,冒泡排序,插入排序,桶排序。 我还只是个孩子为什么要学这玩意。 一：选择排序：“以前我没得选择，现在我想做个排序” 首先输入n个数字，固定第一个数字不变，从它的下一个数字开始寻找，如果找到比第一个数字小的数，就交换下标，接着向下寻找，如果找到比上一个所找的数字小的数便继续交换下标，直到比较完所有数字，第一个最小的数字就随之确定了。重复以上过程，直到最后一个数字。 代码： #...
hive的四种排序以及窗口函数的使用
u011250186的博客
03-09 770
hive的四种排序以及窗口函数的使用
hive中的几种排序的区别
Samaritan_H的博客
01-17 1465
整理hive中遇到的几种排序的函数 特性、区别记上一笔 hive的排序 hive的排序有四种： order by ，sort by，distribute by，cluster by order by order by 是最常用的一种排序，全局排序，所有的数据会在一个reducer上面进行排序，所以一般使用这个函数进行排序的时候速度较慢。需要指出来的是，在strict模
hive数据排序
m0_75280426的博客
04-23 409
当分区字段和排序字段相同Cluster By可以简化Distribute By+Sort By 的SQL写法，也就是说当Distribute By和Sort By 字段相同时，可以使用Cluster By代替Distribute By和Sort By。Cluster By 当Sistribute By和Sort By 字段相同时，可以使用Cluster By代替Distribute By和Sort By,但是Cluster By默认是升序，不能指定排序方向。升序：asc ，不需要指定，默认是升序。
hive表存储格式的转化
qq_43688472的博客
06-09 748
hive表存储格式的转化 hive四种存储格式介绍 一、四种存储格式介绍 1、TextFile TextFile文件不支持块压缩，默认格式，数据不做压缩，磁盘开销大，数据解析开销大。这边不做深入介绍。 2、RCFile Record Columnar的缩写。是Hadoop中第一个列文件格式。能够很好的压缩和快速的查询性能，但是不支持模式演进。通常 写操作比较慢，比非列形式的文件格式需要更多的内存空间和计算量。 RCFile是一种行列存储相结合的存储方式。首先，其将数据按行分块，保证同一个record在一个块
浅析Hive的四种排序方式
DM_Source的博客
05-09 1773
一、order by  order by 是要对输出的结果进行全局排序，这就意味着只有一个reducer才能实现（多个reducer无法保证全局有序）， 但是当数据量过大的时候，效率就很低。如果在严格模式下（hive.mapred.mode=strict）,则必须配合limit使用。 二、sort by sort by 不是全局排序，只是在进入到reducer之前完成排序，只保证了每个re
HIVE的四种排序：Sort By,Order By,Cluster By,Distrbute By的作用和区别
唐豌豆的博客
09-19 1421
文章目录HIVE的四种排序一、order by二、sort by三、distribute by 和 sort by 一起使用四、cluster by HIVE的四种排序 一、order by hive中的order by 跟传统的sql语言中的order by 作用是一样的，会对查询的结果做一次全局排序。所以说，只有Hive的sql中制定了order by 所有的数据都会到同一个reduce中进行处理（不管有多少个map,也不论文件分成了多少block,有且仅有一个reduce,这是order by在处特
桶排序：深入Hive桶技术及其应用
最新发布
06-28
Hive是一种数据仓库软件项目，用于对存储在分布式存储系统（如Hadoop）中的大数据进行查询和管理。它定义了一种类似于SQL的查询语言，称为HiveQL，允许用户执行数据查询、数据摘要和数据挖掘等操作。 ### Hive的...
大数据面试 Hive 八股文
02-20
- **类SQL语法**：Hive提供了一种SQL-like的语言，使得非编程背景的用户能快速上手。 - **简化开发**：通过封装MapReduce或Spark任务，避免直接编写复杂的MapReduce程序。 - **处理大规模数据**：Hive适用于处理...
Hive中查询操作
01-20
在Hive中，查询操作是数据处理的核心，它允许用户从大数据存储中提取所需的信息。以下将详细解析Hive查询语法及其基本查询方法。 一、Hive查询语法 Hive的查询语句遵循标准SQL的基本结构，但也有一些Hive特有的扩展...
Hive-工具篇_hive_
10-04
- **窗口函数**：ROW_NUMBER、RANK、LEAD和LAG等窗口函数在分析排序数据时非常有用，例如计算排名或滞后/领先值。 6. **Hive函数全攻略** - **内置函数**：包括字符串函数（如CONCAT、SUBSTRING）、数学函数（如...
hive中四种排序的区别
lxc950318
03-09 787
hive中有四种排序，分别是：order by,sort by,distribute by（重点）,cluster by order by：全局排序，但是只能有一个reduce来处理，在严格模式下必须指定limit，否则会报错，在数据量很大的时候，处理时间会很长甚至跑不出数据，慎用！ sort by：对每个reduce端的结果进行排序，但是不对全局进行排序，可以设置mapred.reduce.ta...
【hive】Hive中4种排序的区别
debimeng
06-03 3733
Hive中4种排序的区别 共有四种排序：order by，sort by ，distribute by，cluster by order by 全局排序； 对输入的数据做排序，故此只有一个reducer(多个reducer无法保证全局有序)； 只有一个reducer，会导致当输入规模较大时，需要较长的计算时间； sort by 非全局排序； 在数...
Hive 四种排序的区别
weixin_44272011的博客
10-04 1693
这里写目录标题1、order by2、sort by3、 distribute by4、 cluster by5、总结 1、order by order by 顾名思义就是全局排序，在hive中无论设置几个job，最后的输出结果一定是一个job。 字段说明： empno : 员工ID ename: 员工名字 ejob: 职位 mgr: 领导ID hiredate: 聘用日期 sal: 工资 comm: 奖金 deptno:部门ID 统一设置好分区数量3 需求：按照员工的工资(sal)升序排序 然后我们保
hive中的四种排序方法的使用与区别
qq_41704237的博客
07-12 1279
1、order by order by 是全局排序，只有一个reduce（即使设置了多个，也会只走一个），速度较慢，最好事先完成数据的过滤，支持使用case when 或者表达式，排序的数据是reduce后输出的数据 原数据： 经过order by排序后的数据 ，可以指定升序asc 降序desc 2、sort by sort by 全局不排序，而是对进入reduce前的每个分区中的数据进行排序。如果设置reduce task 的数量为 多个（一个时等于order by），sort by 只能保证一个re
Hive 四种排序 （亲手实战 + 理解，烦请您过目）
禧年
05-26 7763
文章目录:1、全局排序 （order by）① 使用order by排序的子句在select 结尾处。降序：desc升序：asc 不需要指定，默认是升序②案例实操：结果：2、区内排序 （sort by ）分区字段 (distribute by)设置reduces 个数:set mapreduce.job.reduces = 3;distribute by 分区字段 store by 排序字段 联合使用②案例实操：不是全局排序，其在数据进入reducer前完成排序。因此，如果用sort by进行排序，并且
Hive的几种排序方式、区别，使用场景
山水青一人尤
12-07 1314
ORDER BY：全局排序，但性能较差，适用于小数据集。SORT BY：在每个 Reducer 内部排序，性能较好，但不保证全局排序。：控制如何分发数据到 Reducer。CLUSTER BY和SORT BY的组合，当两者字段相同时使用。
hive四种排序方式的区别
03-31
Hive支持四种排序方式：SORT BY、ORDER BY、DISTRIBUTE BY和CLUSTER BY。它们之间的区别如下： 1. SORT BY：只对数据进行排序，不进行分区。它仅仅是将所有数据按照指定列进行排序，不保证数据的分区和分布，并且不保证在每个reducer上的数据是有序的。 2. ORDER BY：对数据进行排序，同时按照指定列进行分区。它可以保证数据在每个reducer上是有序的，但是由于数据的分布可能不均匀，所以无法保证每个reducer上的数据量是相等的。 3. DISTRIBUTE BY：仅仅是对数据进行分区，并不进行排序。它按照指定的列进行分区，但是不保证数据是有序的。 4. CLUSTER BY：对数据进行排序并按照指定列进行分区。它可以保证数据在每个reducer上是有序的，并且每个reducer上的数据量是相等的。它是最常用的排序方式，在Hive中也是默认的排序方式。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值