说明Hive中order by，sort by，distribute by，cluster by的作用

最新推荐文章于 2024-02-13 18:02:52 发布
最新推荐文章于 2024-02-13 18:02:52 发布
阅读量1.1k 收藏 6
点赞数 3
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48185778/article/details/110201893
版权
本文详细介绍了Hive中的order by、sort by、distribute by和cluster by的区别和用法。order by进行全局排序，适合数据量小的情况；sort by是局部排序，提高效率；distribute by控制数据分发，常与sort by配合使用；cluster by结合了distribute by和sort by的功能，但不支持升序或降序排序。
摘要由CSDN通过智能技术生成

目录

笼统地看，这四个在hive中都有排序和聚集的作用，然而，它们在执行时所启动的MR却各不相同。

1、order by

order by会对所给的全部数据进行全局排序，并且只会“叫醒”一个reducer干活。它就像一个糊涂蛋一样，不管来多少数据，都只启动一个reducer来处理。因此，数据量小还可以，但数据量一旦变大order by就会变得异常吃力，甚至“罢工”。

  • order by（ASC | DESC）:类似mysql
  • 只使用一个Reducer执行全局数据排序
  • 速度慢,应提前做好数据过滤
  • 支持使用CASE WHEN或表达式
  • 支持按位置编号排序，需要设置：set hive.groupby.orderby.position.alias=true
select * from offers order by case when offerid = 1 then
最低0.47元/天 解锁文章
小财迷，嘻嘻
关注
Hive中order by，sort by，distribute by和cluster by详解
笑看风云路的博客
03-31 676
作为数据开发工程师，在平时工作中，肯定接到过产品小姐姐提的排序需求，例如在mysql数据库中，就是使用order by函数。在hive中也是有order by函数的，那么除了order by之外是否还有其他排序函数呢？今天就跟小伙伴们聊聊hive中有哪些排序函数以及使用场景！只有了解了各个排序函数的功能和使用场景，才能在开发过程中达到事半功倍的效果，提升HQL性能，节省计算资源，提质增效。
hive，order by ,distribute by ,sort by ,cluster by 区别，作用，用法
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-29 1681
0 order by 是全局有序。sort by是在一个reduce中排序，该reduce的输出有序，是局部有序。distriute by c1 是作用于map输出的结果，把c1的值相同的记录输入到同一个reduce中；如果reduce数目比较少，c1多个不同值的记录会输入到同一个reduce中。 1distribute by要写在sort by前面，不然报错 2distribute by c1,c2sort by c1,c2 = cluster by c1,c2 ，注意distribute by...
distribute by控制分区文件数
Zmc8721的博客
08-24 2670
distribute by是控制在map端如何拆分数据给reduce端的。hive会根据distribute by后面列，对应reduce的个数进行分发，默认是采用hash算法. 大部分情况都用于解决Map输出的文件大小不均,Reduce输出文件大小不均,小文件过多,文件超大等情况. 背景: 1.在很多情况下,使用spark sql insert overwrite 表时,由于spark.sql....
HIVE的四种排序：Sort By,Order By,Cluster By,Distrbute By的作用和区别
唐豌豆的博客
09-19 1658
文章目录HIVE的四种排序一、order by二、sort by三、distribute by 和 sort by 一起使用四、cluster by HIVE的四种排序 一、order by hive中的order by 跟传统的sql语言中的order by 作用是一样的，会对查询的结果做一次全局排序。所以说，只有Hive的sql中制定了order by 所有的数据都会到同一个reduce中进行处理（不管有多少个map,也不论文件分成了多少block,有且仅有一个reduce,这是order by在处特
order by,sort by, distribute by, cluster by作用以及用法
yjgithub的博客
10-29 824
目录 order by sort by distribute by和sort by一起使用 cluster by ###1. order by ###2. sort by ###3. distribute by和sort by一起使用 ###4. cluster by
hive中order by,sort by, distribute by, cluster by作用以及用法
weixin_34023863的博客
09-23 98
1. order by Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reducer）。但是对于大量数据这 将会消耗很长的时间去执行。 这里...
hive order by,sort by, distribute by, cluster by作用以及用法--四
认真学代码的shell
09-28 922
区别 order by：对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序），只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。 sort by：局部排序，保证每个reducer的输出文件是有序的。 distribute by：控制map的输出在reducer是如何划分的，按照指定的字段对数据进行划分输出到不同的reducer中。 cluster by：除具有distribute by功能外还具有sort by的功能 1. order by Hive中的ord
Hive拉拉扯扯的order by,sort by,distribute by, cluster by
01-07
Hive支持两个层面的排序： 全局排序 部分排序 全局排序用 order by col [ASC | DESC] 实现，效果和传统的RDMS一样，...鉴于此，Hive有一些自己特定，比如order by的实现需要把所有数据汇集到一个reducer中处理，如果数
(04)Hive的相关概念——order by 、sort by、distribute by 、cluster by
最新发布
爱吃辣条的博客
02-13 1296
Hive的排序——order by 、sort by、distribute by、cluster by
hive：order by,sort by, distribute by, cluster by作用以及用法
不花的花和尚的博客
10-12 1604
Hive基于HADOOP来执行分布式程序的，和普通单机程序不同的一个特点就是最终的数据会产生多个子文件，每个reducer节点都会处理partition给自己的那份数据产生结果文件，这导致了在HADOOP环境下很难对数据进行全局排序，如果在HADOOP上进行order by全排序，会导致所有的数据集中在一台reducer节点上，然后进行排序，这样很可能会超过单个节点的磁盘和内存存储能力导致任务失败...
hive order by,sort by, distribute by, cluster by作用以及用法
赵英超的博客
01-22 1841
1. order by     Hive中的order by跟传统的sql语言中的order by作用是一样的，会对查询的结果做一次全局排序，所以说，只有hive的sql中制定了order by所有的数据都会到同一个reducer进行处理（不管有多少map，也不管文件有多少的block只会启动一个reducer）。但是对于大量数据这将会消耗很长的时间去执行。     这里跟传统的sql
Hive中的排序:order by/sort by/cluster by
weixin_43586713的博客
10-13 3253
Hive中关于排序的几种方法,有必要深入理解其原理。 Order by 全局排序 1)Order By：全局排序,只有一个 Reducer,即使我们在设置set reduceer的数量为多个,但是在执行了order by语句之后,当前此次的运算还是只有1个reducer,因为order by要做的是全局分区。ORDER BY 子句在 SELECT 语句的结尾。 order by 语句的运行效率较低,公司一般是不让用的,加上limit 可以用。 使用 ORDER BY 子句排序 : ASC（ascend）
hive学习（7）--- distribute by 或 cluster by的解释与使用
glgl2424的专栏
05-24 1100
待续
Hive中 Order by，Sort by, Distribute by, Cluster by详解
sql_python的博客
07-30 1091
Hive中 Order by，Sort by, Distribute by, Cluster by详解 本文的数据基础： empno ename job mgr hiredate sal comm deptno 工号 姓名 职位 老板工号 雇佣日期 工资 不重要 部门编号 初始计算引擎为tez，而不是默认的MR。 1.Order by order by的用法和mysql中一模一样，是针对全局排序。此处不进行详述。 2.Sort by Hive基于Hadoop集群，Sort by为每
hive中的distribute By
热门推荐
朝着梦想 渐行前进
05-26 1万+
hive中的distribute By
Hive中order by、sort by、distribute by、cluster by有什么区别？
03-29
在Hive中，order by、sort by、distribute by和cluster by是用于对查询结果进行排序和分组的关键字。它们的区别如下： 1. order by：按照指定的列或表达式对查询结果进行排序。它会对所有数据进行全局排序，因此在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值