Hive：distribute by与group by，order by与sort by , cluster by的区别

最新推荐文章于 2024-12-06 13:57:55 发布
最新推荐文章于 2024-12-06 13:57:55 发布
阅读量3.6k 收藏 16
点赞数 1
分类专栏： hive 文章标签： 大数据 hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_36039236/article/details/108844846
版权

distribute by与group by，order by与sort by , cluster by的区别

distribute by与group by 的区别

都是按key值划分数据 都使用reduce操作

  • 唯一不同的是，distribute by只是单纯的分散数据，distribute by col – 按照col列把数据分散到不同的reduce。而group by把相同key的数据聚集到一起，后续必须是聚合操作。
  • distribute by的分区规则是根据分区字段的hash码与reduce的个数进行模除后，余数相同的分到一个区。
  • distribute by 是控制map端在reduce上是如何分区的，distribute by会把相同的Key发到同一个reduce中。一般情况下可以结合sort by 使用，distribute by必须要写在sort by之前。先进行分组reduce，再进行排序（相当于mapreduce中的分区函数）。

order by与sort by 的区别

order by是全局排序
sort by只是确保每个reduce上面输出的数据有序。如果只有一个reduce时，和order by作用一样。

cluster by

把有相同值的数据聚集到一起，并排序，效果等价于 distribute by col sort by col。

即 cluster by col <==> distribute by col sort by col

hive，order by ,distribute by ,sort by ,cluster by 区别，作用，用法
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-29 1796
0 order by 是全局有序。sort by是在一个reduce中排序，该reduce的输出有序，是局部有序。distriute by c1 是作用于map输出的结果，把c1的值相同的记录输入到同一个reduce中；如果reduce数目比较少，c1多个不同值的记录会输入到同一个reduce中。 1distribute by要写在sort by前面，不然报错 2distribute by c1,c2sort by c1,c2 = cluster by c1,c2 ，注意distribute by...
(04)Hive的相关概念——order by 、sort by、distribute by 、cluster by
爱吃辣条的博客
02-13 1367
Hive的排序——order by 、sort by、distribute by、cluster by
Hive求topN
RayfunC的博客
12-31 1106
select t2.* from( select pid,uid,cnt,row_number() over (partition by pid order by cnt desc ) as rank from ( select pid,uid,count(uid) as cnt from visit2 group by pid,uid order by pid,cnt desc ) as t1 ) as t2 where t2.r.
Hive 中 Order By、Sort By、Cluster By 和 Distribute By 的详细解析
最新发布
qq_68076599的博客
12-06 1424
在 Hive 数据查询与处理操作中，Order BySort ByCluster By和这些语句对于数据的排序、分区以及在 Reduce 阶段的处理起着关键作用。本文将详细解析它们各自的语法、区别以及一些使用要点，帮助大家深入理解并正确运用这些功能。
Hive中orderBy，sortBy，distribute by，cluster by，group by
weixin_44844089的博客
05-22 1988
首先我们要明白Hive的本质是将HiveSQL转成MapReduce来执行分布式计算的，和普通单机程序不同的一个特点就是最终的数据会产生多个子文件，每个reducer节点都会处理partition给自己的那份数据产生结果文件，这导致了在Hadoop环境下很难对数据进行全局排序，如果在Hadoop上进行order by全排序，会导致所有的数据集中在一台reducer节点上，然后进行排序，这样很可能会超过单个节点的磁盘和内存存储能力导致任务失败。 因此OrderBy会导致全局排序。解决方案就是放弃全局排序，使用
HiveQL distribute by、group by、sort by、order by、sort by、cluster by区别
泓源的博客
07-10 479
distribute by f(col)： 控制数据经过map后如何分给reduce的， 把数据按照col列(以及总共reduce个数,默认是采用hash算法)分散到不同的reduce，即col值经过hash后相同的数据会被分到同一个reduce，当然这里我用的f(col)，表示划分的可以是任何col的函数如length等。 group by f(col)： 用于分类所有记录结果的特定集合列，查询...
Hive-distribute by与group by，order by与sort by 的区别，cluster by
ALX3li的博客
04-14 773
涉及排序的函数的差异描述
hive中Sort By，Order By，Cluster By，Distribute By，Group By的区别
RangeYan
08-23 931
order by： hive中的order by 和传统sql中的order by 一样，对数据做全局排序，加上排序，会新启动一个job进行排序，会把所有数据放到同一个reduce中进行处理，不管数据多少，不管文件多少，都启用一个reduce进行处理。如果指定了hive.mapred.mode=strict（默认值是nonstrict）,这时就必须指定limit来限制输出条数，原因是：所有的数据都会在同一个reducer端进行，数据量大的情况下可能不能出结果，那么在这样的严格模式下，必须指定输出的条数。 s
Hive中order by，sort by，distribute by和cluster by详解
笑看风云路的博客
03-31 814
作为数据开发工程师，在平时工作中，肯定接到过产品小姐姐提的排序需求，例如在mysql数据库中，就是使用order by函数。在hive中也是有order by函数的，那么除了order by之外是否还有其他排序函数呢？今天就跟小伙伴们聊聊hive中有哪些排序函数以及使用场景！只有了解了各个排序函数的功能和使用场景，才能在开发过程中达到事半功倍的效果，提升HQL性能，节省计算资源，提质增效。
hive order by sort by distribute by cluster by
weixin_38491020的博客
11-19 463
order by 语法 Hive QL中的order by 类似于SQL语言中的ORDER BY语法。 排序方式：ASC|DESC 空值排序方式：NULLS FIRST|NULLS LAST 语法：order by 字段名称 ASC|DESC [NULLS FIRST|NULLS LAST] “ order by”子句中有一些限制。在严格模式下（即hive.mapred.mode = strict...
distribute by、group by、sort by、order by的相关释义
weixin_47894524的博客
05-03 1209
1、group by 把相同的key发送到同一个reduce分区中，后面必须做聚合操作 2、distribute by 把相同的key发送到下游同一个reduce分区中，只是做数据分散 3、order by 全部排序，把所有数据拉到同一个节点进行排序，数据量大的时候可能会造成内存溢出 4、sort by 区内排序，对每个reduce分区内的数据进行排序，不保证全局有序 5、cluster by 如果distribute by和sort by的字段相同时，只用cluster by就可以完成
hive中的distribute By
热门推荐
朝着梦想 渐行前进
05-26 1万+
hive中的distribute By
hive的高级查询（group by、 order by、 join 、 distribute by、sort by、 clusrer by、 union all等）...
weixin_30508241的博客
10-18 295
查询操作 group by、 order by、 join 、 distribute by、 sort by、 clusrer by、 union all 底层的实现 mapreduce 常见的聚合操作 count计数 count(*) 所有值不全为NULL时，加1操作 count(1) 不管有没有值，只要有这条记录，值就加1 count(col) c...
Hive中4个By Sort By 、Order By、Distrbute By、 Cluster By区别
ganghaodream的博客
08-08 1416
1）SortBy：分区内有序； 2）Order By：全局排序，只有一个Reducer； 3）Distrbute By：类似MR中Partition，进行分区，结合sort by使用。 4）Cluster By：当Distribute by和Sorts by字段相同时，可以使用Cluster by方式。Cluster by除了具有Distribute by的功能外还兼具Sort by的功能。但是排序只能是升序排序，不能指定排序规则为ASC或者DESC。 ...
hive中order by 、sort by、distribute by、cluster by、group by操作
Enzo的探索之路
12-11 4633
order by 对输入做全局排序，因此只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。 SELECT * FROM db_hive.employee ORDER BY empID desc; //按照empID降序排列 sort by 不是全局排序，其在数据进入reducer前完成排序。因此，如果用sort by进行排序，并且设置mapreduce.job.redu...
Hive中的order by ,sort by ,distribute by , cluster by 区别
liutao3233的博客
10-16 975
hive中的排序
order by ,sorte by ,distribute by, cluster by之间的异同
weixin_49196517的博客
09-11 797
三种排序的区别
大数据面试题-group by | order by| distribute by| sort by| cluser by | partition by 的区别
二进制专栏
11-02 512
这个题目在大数据的面试中比较常见，属于所谓的八股文，不过近期的面试中，问八股文的比较少了，一般都开始问项目了，不过还是会有一些公司在第一轮笔试的时候去考察面试者的基本功，咱们来一起探讨这个问题。
order by 、sort by、distribute by、group by、cluster by的区别
wadjdkdkdjjd的博客
10-31 455
ORDER BY：全局排序，结果集有序。SORT BY：分布式排序，每个节点排序，但结果集不一定全局有序。：用于数据分布，通常与SORT BY结合使用。GROUP BY：用于分组和聚合操作。CLUSTER BY：结合了DISTRIBUTE BY和SORT BY的功能，适用于分布式环境下的数据排序和分布。
spark sortby和orderby
07-27
- *1* *3* [【Hive】sort by、order by、 distribute by、 group by 、cluster by区别](https://blog.csdn.net/Asher117/article/details/108979573)[target="_blank" data-report-click={"spm":"1018.2226.3001....
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

雾岛与鲸

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值