order by/sort by/distribute by/cluster by

最新推荐文章于 2024-02-13 18:02:52 发布
最新推荐文章于 2024-02-13 18:02:52 发布
阅读量175 收藏
点赞数
分类专栏： hive学习 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_29425617/article/details/80862988
版权
本文介绍了在数据处理过程中orderby、sortby及distributeby的作用及应用技巧。orderby在reduce中进行排序，sortby实现局部排序提高全局排序效率，distributeby则负责数据聚合，结合使用能有效管理大规模数据。
摘要由CSDN通过智能技术生成

order by是在一个reduce中进行数据的排序

sort by是在不同的reduce中进行数据的排序,执行了局部排序之后可以为接下去的全局排序提高不少的效率（其实就是做一次归并排序就可以做到全局排序了）。

distribute by是聚合，指定map分配到哪个reduce

distribue by和sort by结合起来可以在数据量很大时可以将相同的数据分到同一reduce中去排序

distribute by 和sort by=cluster by


大王go巡山
关注
专栏目录
hive，order by ,distribute by ,sort by ,cluster by 区别，作用，用法
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-29 1718
0 order by 是全局有序。sort by是在一个reduce中排序，该reduce的输出有序，是局部有序。distriute by c1 是作用于map输出的结果，把c1的值相同的记录输入到同一个reduce中；如果reduce数目比较少，c1多个不同值的记录会输入到同一个reduce中。 1distribute by要写在sort by前面，不然报错 2distribute by c1,c2sort by c1,c2 = cluster by c1,c2 ，注意distribute by...
Hive（23）：Select高级查询之SORT/ORDER/CLUSTER/DISTRIBUTE BY
u013938578的博客
07-11 1151
order by会对输入做全局排序，因此只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。sort by不是全局排序，其在数据进入reducer前完成排序。因此，如果用sort by进行排序，并且设置mapred.reduce.tasks>1，则sort by只保证每个reducer的输出有序，不保证全局有序。distribute by(字段)根据指定字段将数据分到不同的reducer，分发算法是hash散列。
hive Sort By/Order By/Cluster By/Distribute By
chushang0934的博客
09-14 142
Order by colOrder: ( ASC | DESC ) orderBy: ORDER BY colName colOrder? (',' colName colOrder?)* query: SELECT expression (',' expression)* FROM...
order by/sort by/distribute by /cluster by 的区分
weixin_30747253的博客
12-25 176
主要说说这3者的区分和场景： 1.order by:这是日常使用最多的，因为是最终的排序，所以是全局的，所以最后只会有1个reduce(set mapred.reduce.tasks=n无效)完成。假如sql的执行结果的数据量很大的话，这里就会比较坑。 2.sort by:sortby不是全局排序，数据在reducer前就完成排序。sortby只会保证每个reducer的输出是有序的，sort...
Hive中order by，sort by，distribute by，cluster by的区别
CSDN_bird的博客
11-01 305
https://blog.csdn.net/wangxingxing2006/article/details/53367011
oracle分区表的创建
growing1224的博客
01-08 397
1.在已知数据表数据量比较大时，我们可以选择创建分区表增强搜索性能 在此创建以周为单位的分区表 create table APPS.MQ_RECEIVE_LOG ( id NUMBER not null, msg_id VARCHAR2(100), calsign VARCHAR2(20), msg_os ...
详解Oracle hints PQ_DISTRIBUTE
极品飞猪
02-15 1782
PQ_DISTRIBUTE是并行的hints中稍微复杂一点的一个 下面就这个hints做以下说明：1.使用格式/ PQ_DISTRIBUTE(tablespec outer_distribution inner_distribution )/tablespec:表名 outer_distribution:外表如何分割 inner_distribution:内表如何分割2.选项说明(1)HAS
Hive拉拉扯扯的order by,sort by,distribute by, cluster by
01-07
sort by col [ASC | DESC] 实现，保证同一个reducer处理的数据有序，对于结果数据则表现为局部有序。 Hive对用户提供的同样是SQL，但底层实现却和传统数据库有天壤区别，底层实现默默情况下是利用了Hadoop的计算...
一篇文章彻底掌握 hive 中的 ORDER/SORT/CLUSTER/DISTRIBUTE BY 和 BUCKET 桶表
明哥的IT随笔
11-11 2116
大家好，我是明哥！本片文章，我们来总结下，HIVE 中的 order/sort/cluster/distribute by 和 BUCKET 桶表1 ORDER BYORDER BY 会对...
(04)Hive的相关概念——order by 、sort by、distribute by 、cluster by
最新发布
爱吃辣条的博客
02-13 1316
Hive的排序——order by 、sort by、distribute by、cluster by
Hive中order by ,sort by ,distribute by ,cluster by
Jessica的学习笔记
05-14 663
1、order by 会对输入做全局排序，因此只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。 2、sort by不是全局排序，其在数据进入reducer前完成排序。因此，如果用sort by进行排序，并且设置mapred.reduce.tasks>1，则sort by只保证每个reducer的输出有序，不保证全局有序。即每个文件是有序的。如果reduce=1,sort ...
oracle的分组排序函数（窗口函数）
m0_46636892的博客
02-17 3176
第一种写法： row_number() over(partition by 一个或多个分组列 order by 一个或多个排序列 asc/desc) as 别名 //如果不写asc/desc的话，默认为asc 第二种写法： row_number() over(distribute by 一个或多个分组列 sort by 一个或多个排序列 asc/desc) as 别名 在使用 row_number() over()函数时候， over()里头的分组以及排序的执行晚于 where 、group by.
hive中order by、distribute by、sort by和cluster by的区别和联系
Mr.pan felix的专栏
06-14 1625
order by order by 会对数据进行全局排序,和oracle和mysql等数据库中的order by 效果一样，它只在一个reduce中进行所以数据量特别大的时候效率非常低。 而且当设置 ：set hive.mapred.mode=strict的时候不指定limit，执行select会报错，如下： LIMIT must also be specified。 sort by sort by 是单独在各自的reduce中进行排序，所以并不能保证全局有序，一般和distribute by .
oracle 分桶,Hive 对象 基本操作
weixin_42166623的博客
04-15 1091
在之前的博客中我们看了Hive 环境的搭建，如下：Hive 3.1.1 环境 搭建手册https://www.cndba.cn/dave/article/3335本篇我们了解一下Hive对象的基本操作。1 创建数据库hive> create database cndba;OKTime taken: 1.103 secondshive>建立一个新数据库，就会在HDFS的/user/hiv...
distribute by控制分区文件数
WangzhenBeyond的博客
11-21 1万+
distribute by是控制在map端如何拆分数据给reduce端的。hive会根据distribute by后面列，对应reduce的个数进行分发，默认是采用hash算法. 大部分情况都用于解决Map输出的文件大小不均,Reduce输出文件大小不均,小文件过多,文件超大等情况. 背景: 1.在很多情况下,使用spark sql insert overwrite 表时,由于spark.sql....
Hive 的 distribute by
everyst的博客
12-29 4055
Order by 能够预期产生完全排序的结果，但是它是通过只用一个reduce来做到这点的。所以对于大规模的数据集它的效率非常低。在很多情况下，并不需要全局排序，此时可以换成Hive的非标准扩展sort by。Sort by为每个reducer产生一个排序文件。在有些情况下，你需要控制某个特定行应该到哪个reducer，通常是为了进行后续的聚集操作。Hive的distribute by 子句可以做...
Distribute by和Sort by执行流程图
china_demon的专栏
07-05 1722
distribute by 和 partitioned by 区别
jokertiger的博客
03-31 7290
distribute by DISTRIBUTE BY是控制map的输出在reducer是如何划分的 DISTRIBUTE BY是控制在map端如何拆分数据给reduce端的。 DISTRIBUTE BY可以控制某个特定行应该到哪个reducer。 distribute by 是根据has取模的结果来分区 ```` ![在这里插入图片描述](https://img-blog.csdnimg.cn/20210331171748267.png?x-oss-process=image/watermark,type
hive中order by,sort by, distribute by, cluster by作用以及用法
热门推荐
Cumu Blog
08-28 7万+
1. order by     Hive中的
order by和sort by、distribute by的区别
05-25
`distribute by`通常与`sort by`或`cluster by`一起使用，以实现更好的性能。 总之，`order by`、`sort by`和`distribute by`都有各自的用途，根据具体情况选择合适的方式来控制数据的排序和分布。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值