四种排序：order by，sort by,distribute by,cluster by

最新推荐文章于 2023-06-22 12:32:31 发布
最新推荐文章于 2023-06-22 12:32:31 发布
阅读量455 收藏
点赞数
文章标签： 排序算法 算法 大数据 hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44927710/article/details/122359170
版权

四种排序方法：
order by 是全局排序，全局排序的限制就是只有一个reduce进行数据排序处理，数据量大的话，运行效率要考虑
sort by 是数据在进入reduce之前进行排序，如果reduce个数大于1，则不能保证数据的排序
distribute by 是控制map端数据的分发，即相同key值的数据分发到相同的reduce，一般和sort by一起使用
cluster by ，如果sort by,与distribute by对应的字段是一致的，则使用cluster by 代替sort by distribute by

团子77
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【Hive】Hive 中四个BY对比：Order By,Sort By ,Distribute By,Cluster By [Hive面试常考]
m0_46568930的博客
02-07 1674
Hive 中四个BY比较一、Order By二、Sort By三、 Distribute By四、 Cluster By 一、Order By  Order By：全局排序。只有一个 Reducer，无论将reducer设置为几，实际都只有一个。 效率较低。 有ASC（ascend）: 升序（默认） DESC（descend）: 降序两种排序方式。 ORDER BY 子句在SELECT 语句的结尾 例： select * from emp order by sal desc; 二、Sort By
Hive:order by,sort by,distribute by与cluster by
承缘丶
01-07 390
Hive:order by,sort by,distribute by与cluster by
4种排序方式比较：order by, sort by, distribute by, cluster by
CharlesCFA的博客
02-21 7147
文章记录了4种排序方式：order by, sort by, distribute by, cluster by 总结： order by 全局排序，只有一个 Reducer，通过order对字段进行降序或者升序 sort by 对于大规模的数据集 order by 的效率非常低。在很多情况下，并不需要全局排序，此时可以使用 sort by。Sort by 为每个reducer 产生一个排序文件。每个 Reducer 内部进行排序，对全局结果集来说不是排序。 distribute by 在有些情
Hive中 Order by，Sort by, Distribute by, Cluster by详解
sql_python的博客
07-30 1032
Hive中 Order by，Sort by, Distribute by, Cluster by详解 本文的数据基础： empno ename job mgr hiredate sal comm deptno 工号 姓名 职位 老板工号 雇佣日期 工资 不重要 部门编号 初始计算引擎为tez，而不是默认的MR。 1.Order by order by的用法和mysql中一模一样，是针对全局排序。此处不进行详述。 2.Sort by Hive基于Hadoop集群，Sort by为每
hive入门之排序查询（order by,sort by,distribute by,cluster by...）<4>
及时雨的csdn
02-04 207
HQL查询和一般的sql语句的查询基本一直，本文主要总结下hive里面的一些基本排序查询。 文章目录1.order by：2.Sort by3.Distribute by4.Cluster by 数据准备： SELECT e.ename, d.dname, l.loc_name FROM emp e JOIN dept d ON d.deptno = e.deptno JOIN...
Hive拉拉扯扯的order by,sort by,distribute by, cluster by
01-07
sort by col [ASC | DESC] 实现，保证同一个reducer处理的数据有序，对于结果数据则表现为局部有序。 Hive对用户提供的同样是SQL，但底层实现却和传统数据库有天壤区别，底层实现默默情况下是利用了Hadoop的计算...
Hive查询优化：Sort By、Order By、Cluster By、Distribute深入解析
最新发布
06-28
Hive是一种数据仓库软件，用于对存储在分布式存储系统（如Hadoop）中的大数据进行查询和管理。它由Facebook开发，现在是Apache软件基金会的一个顶级项目。 ### Hive的主要特点包括： 1. **基于Hadoop**：Hive建立...
大数据学习：Hive数据查询语言.pdf
12-07
[CLUSTER BY col_list | [DISTRIBUTE BY col_list] [SORT BY col_list] ] [LIMIT number] ``` 其中，WITH CommonTableExpression 是可选的，表示公用表达式；select_expr 表示查询语句的表达式；LIMIT number 是可...
BigData-Interview:
05-03
发一条内推消息，社招、实习生欢迎投递 字节跳动校招内推码: 3UWFMRS 投递链接: 社招： 大数据面试题汇总与答案分享 Spark ...hive中 sort by / order by / cluster by / distribute by 的区别 hive的me
mysql常用的函数等
10-07
而 `DISTRIBUTE BY` 和 `SORT BY` 主要用于分布式数据库系统，它们分别控制数据分布和排序的方式。在某些系统中，`CLUSTER BY` 类似于 `PARTITION BY` 和 `ORDER BY` 的组合。 五、窗口函数 - `ROW_NUMBER() OVER()...
order by,sort by,distribute by,cluster by的区别是什么？
热门推荐
Shockang的博客
06-20 3万+
前言 本文隶属于专栏《1000个问题搞定大数据技术体系》，该专栏为笔者原创，引用请注明来源，不足和错误之处请在评论区帮忙指出，谢谢！ 本专栏目录结构和参考文献请见1000个问题搞定大数据技术体系 正文 1. order by 会对所给的全部数据进行全局排序，不管来多少数据，都只启动一个reducer来处理 。 2. sort by是 局部排序，sort by会根据数据量的大小启动一到多个 reducer 来干活，并且，它会在进入 reduce 之前为每个 reducer 都产生一个排序文件 。 3. d
hive四种排序order by，sort by，distribute by，cluster by的区别
cl2010abc的专栏
04-05 800
1.数据准备 创建person表 CREATE TABLE `person`( `id` int, `name` string, `address` string) 添加如下数据： hive> insert into person values(1, 'lisi', 'beijing'); hive> insert into person values(2, 'zha...
Hive中order by，sort by，distribute by，cluster by用法和区别
weixin_42263032的博客
07-13 259
Hive中order by, sort by, distribute by, cluster by的区别
hive中order by,sort by, distribute by, cluster by作用以及用法
happy19870612's blog
11-19 1830
一 ORDERBY ORDERBY 跟传统数据库ORDERBY 一样，会对所有的数据进行排序，可能有很多个Map任务，但是只会由一个Reducer来进行排序，如果数据海量的话，会很影响性能，因为需要花费大量的时间   二 SORTBY 如果在hive指定了SORT BY语句，那么在每一个Reducer都会进行排序，言外之意，只保证每一个Reducer的时候进行排序,那么这样的排序是局部的，
Hive的sort by, order by, distribute by, cluster by区别
chushouxiu0552的博客
03-09 131
Hive的order by语句和其他的SQL语言的定义是一样的，其会对查询结果集执行一个全局排序。这也就是说会有一个所有的数据都通过一个reducer进行处理的过程。对于大数据集，这个过程可能会消耗太过漫长的时间来执行。 Hive增加了一个可供选择的方式，也就是sort by，其只会在每...
hive中Sort By，Order By，Cluster By，Distribute By，Group By的区别
RangeYan
08-23 873
order by： hive中的order by 和传统sql中的order by 一样，对数据做全局排序，加上排序，会新启动一个job进行排序，会把所有数据放到同一个reduce中进行处理，不管数据多少，不管文件多少，都启用一个reduce进行处理。如果指定了hive.mapred.mode=strict（默认值是nonstrict）,这时就必须指定limit来限制输出条数，原因是：所有的数据都会在同一个reducer端进行，数据量大的情况下可能不能出结果，那么在这样的严格模式下，必须指定输出的条数。 s
order by、sort by、distribute by和cluster by 的区别,使用场景
LiuYangCSND的博客
06-22 2151
Hive会将数据按照指定的列进行划分和排序，每个划分内的数据是有序的，但不同划分之间的顺序是未定义的。它类似于distribute by，但它会尝试将数据按照指定的列进行排序，并将相邻的值放置在相同的分区中。在Hive中，order by、sort by、distribute by和cluster by是用于数据排序和分区的关键字，它们在语义和使用场景上有一些区别。使用场景：当需要将数据按照指定的列进行分区和排序，并且希望相邻值在同一分区中时，可以使用cluster by。
Hive中order by sort by distribute by cluster by用法
weixin_30492601的博客
11-27 123
1、order by hive中的order by和传统sql中的order by 一样，会对数据做全局排序，加上排序，会新启动一个jod进行排序，会把所有数据放到同一个reduce中进行处理，不管数据多少， 不管文件多少，都启用一个reduce进行处理。 注意： （1）：order by后面可以有多列进行排序，默认按字典排序 （2）：order by为全局排序 （3）：or...
9个元素换6次达到排序序列_八大排序-插入排序
weixin_39640849的博客
11-27 61
数据结构与算法—基础大纲（Java版）​zhuanlan.zhihu.com概要插入排序是一种简单直观的排序算法。 它的工作原理是通过构建有序序列，对于未排序数据，在已排序序列中从后向前扫描，找到相应位置并插入。插入排序原理排序过程 插入排序的核心是循环将数组插入有序序列中，使得数组从小到大最终有序。上图以数组int n[] = { 6, 5, 2, 7, 3, 9, 8 }为例，第一趟排序将6插...
order by和sort by、distribute by的区别
05-25
在Hive中，`order by`、`sort by`和`distribute by`都是用于控制数据的排序和分布的。它们的区别如下： 1. `order by`：按照指定的列对数据进行排序，是全局排序。使用`order by`时，Hive会对所有数据进行全局排序，并将结果返回给客户端。如果数据量较大，可能会产生性能问题。 2. `sort by`：也是按照指定的列对数据进行排序，但是是在每个Reducer上进行局部排序的。使用`sort by`时，Hive会将数据按照指定的列进行分区，并将每个分区内的数据进行排序，最后将结果返回给客户端。相比于`order by`，`sort by`可以减少数据的移动量，因此性能更好。 3. `distribute by`：按照指定的列对数据进行分区，但是不保证数据的排序。使用`distribute by`时，Hive会将数据按照指定的列进行分区，并将每个分区内的数据发送给不同的Reducer进行处理。`distribute by`通常与`sort by`或`cluster by`一起使用，以实现更好的性能。 总之，`order by`、`sort by`和`distribute by`都有各自的用途，根据具体情况选择合适的方式来控制数据的排序和分布。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值