hive中 几个by的区别

最新推荐文章于 2023-09-20 10:59:07 发布
最新推荐文章于 2023-09-20 10:59:07 发布
阅读量910 收藏
点赞数
分类专栏： hive 文章标签： hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013111855/article/details/103365466
版权

hive 中几个by的区别


group by：聚合函数分组，不排序。
注意： group by 的执行在select 之前。
having 在select 之后

order by：全局排序

sort by：局部排序（每个reducetask的结果中有序）
每一组是有序的，但全局不一定有序。

distribute by：分桶
有多个文件，全局排序，难度很高，所以采取分桶排序。

cluster by：分桶
如果distribute by后面的字段 和 sort by 后面的字段一致，则：
distribute by id sort by id = cluster by id
distribute by id,sort by id,name = cluster by id sort by name;
只能默认升序，不能使用倒序；

IT小鸟鸟
关注
专栏目录
Hive中order by，sort by，distribute by和cluster by详解
笑看风云路的博客
03-31 662
作为数据开发工程师，在平时工作中，肯定接到过产品小姐姐提的排序需求，例如在mysql数据库中，就是使用order by函数。在hive中也是有order by函数的，那么除了order by之外是否还有其他排序函数呢？今天就跟小伙伴们聊聊hive中有哪些排序函数以及使用场景！只有了解了各个排序函数的功能和使用场景，才能在开发过程中达到事半功倍的效果，提升HQL性能，节省计算资源，提质增效。
Hive，order by ,distribute by ,sort by ,cluster by 作用与区别 （转载）
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
01-14 1241
具有相同Distribute By列的所有行将进入相同的 reducerhttps://www.docs4dev.com/docs/zh/apache-hive/3.1.1/reference/LanguageManual_SortBy.html --------------- 1、order by hive中的order by 会对查询结果集执行一个全局排序，这也就是说所有的数据都通过一个reduce进行处理的过程，对于大数据集，这个过程将消耗很大的时间来执行。 2、sort ...
【Hive】Hive 中四个BY对比：Order By,Sort By ,Distribute By,Cluster By [Hive面试常考]
m0_46568930的博客
02-07 1748
Hive 中四个BY比较一、Order By二、Sort By三、 Distribute By四、 Cluster By 一、Order By  Order By：全局排序。只有一个 Reducer，无论将reducer设置为几，实际都只有一个。 效率较低。 有ASC（ascend）: 升序（默认） DESC（descend）: 降序两种排序方式。 ORDER BY 子句在SELECT 语句的结尾 例： select * from emp order by sal desc; 二、Sort By
Hive中4个By的区别?
m0_61607827的博客
04-20 1275
1、Sort By:分区内有序 2、Order By:全局排序，只有一个Reducer 3、Distrbute By：类似MR中的Partition，进行分区，结合sort by使用 4、Cluster By：当Distrbute By和Sort By字段相同时，可以使用Cluster By方式。Cluster By除了具有Distrbute By的功能还有Sort By的功能。但是排序只能是升序排序，不能指定排序规则为ASC或者DESC。 窗口函数： RANK()排序相同时会重复，总数不会变
Hive中4个By的区别
Laoddaaa的博客
08-14 586
Hive中的4个By的作用和区别。
Hive 排序函数4个 by 的区别
星空下的那个人影
05-16 484
order by（全局排序）：只有一个 reducer； sort by（分区内排序）：每个 reducer 内部进行排序，对全局结果集来说不是排序的； distribute by（分区排序）：类似于map 中的 partition，进行分区，结合 sort by 使用； cluster by：当 distribute by 和 sort by 字段相同时，可以使用 cluster by 的形式。但是排序只能是升序排序，不能指定排序规则为 ASC 或者 DESC。 在生产环境中 order by 用的比.
hive的四个by
qq_40839450的博客
05-31 599
1.order bycol_list： 全局排序，默认为升序asc ,因此只有一个reducer,只有一个reduce task的结果， 比如文件名是000000_0,会导致当输入规模较大时，需要较长的计算时间。 如果指定了hive.mapred.mode=strict（默认值是nonstrict）,这时就必须指定limit来限制输出条数，原因是：所有的数据都会在同一个reducer端进行，数据量大的情况下可能不能出结果，那么在这样的严格模式下，必须指定输出的条数。 对被排序列进行全排序...
hive中groupby优化_工作中总结的关于hive的优化方案
weixin_33906021的博客
12-29 616
这些优化全是在公司中遇到瓶颈后的一些解决方案，精华部分，当然大数据时代任何问题的解决方法都不止一种，智者见智slow相关参数能够设置map阶段执行完成在执行ruduce，默认值是0.05，设置成1后就会让map完全拿完数据了再执行reduce阶段，这样不会因为map端数据倾斜了执行map时也在执行reduce两个阶段的槽位都被占着，也就是内存利用率问题set mapreduce.job.reduc...
Hive中的四种排序方式（order by,sort by,distribute by,cluster by）使用与区别详解
热门推荐
weixin_43230682的博客
07-14 1万+
在平时的Hive数仓开发工作中经常会用到排序，而Hive中支持的排序方式有四种，这里结合具体的案例详细介绍一下他们的使用与区别： order by sort by distribute by cluster by 一、order by（全局排序） 1、作用：全局排序，只有一个reducer。 order by 会对输入做全局排序，因此只有一个reducer（多个reducer无法保证全局有序），也正因为只有一个reducer，所以当输入的数据规模较大时会导致计算时间较长。 　　set hive.mapr
04-4个By区别
huaxing_ba的博客
06-11 793
4个by区别
四个BY的区别 HIVE中
最新发布
weixin_56765170的博客
09-20 435
因此，Order By是全局排序，Sort By是Reducer内部排序，Distribute By是数据分发，而Cluster By是排序和分发的组合操作。Sort By是对每个Reducer内部的数据进行排序。它不保证全局排序，但可以在每个Reducer内部对结果进行排序。在Hive中，有四个BY比较：Order By、Sort By、Distribute By和Cluster By。Cluster By是对数据进行排序和分发，相当于同时使用了Sort By和Distribute By。
大数据之Hive：hive中的四个by
weixin_43597208的博客
06-16 4267
目录1.前言2.order by3.sort by4.distribute by5.Cluster By6.实际需求 1.前言 hive中的四个by分别为order by，sort by，distribute by，cluster by； 下面具体讲解： 2.order by 全局排序，只有一个reduce； 缺点：当数据量非常大时，耗时太长，效率低下，适用于数据量较小的场景； 优点：数据全局排序； select * from emp order by sal desc; 备注:当你使用order by时
Hive中4 个 By的区别
m0_51697147的博客
01-08 87
（1）Order By：对数据进行 全局排序 ，并且 只有一个Reducer ...
一句话搞懂Hive的4个BY排序
大数据技术学习
09-25 1044
Hive的4个BY排序和实际应用中的使用 Order BY 全局排序，生产环境基本不用，数据量太大 Sort BY 分区内排序 Distrbute By类似MR中Partition，进行分区生产环境sort by 和distrbute by 组合用的多 Cluster By 当Distribute by和Sorts by字段相同时，可以使用Cluster by方式。Cluster by除了具有Distribute by的功能外还兼具Sort by的功能。但是排序只能是升序排序，..
Hive的四个排序 by 总结
iiiitttttt的博客
03-29 2252
Hive的四个排序 by 总结 Order by (全局排序) 全局排序 全局只有一个Reducer Sort by (分区内排序) 分区内排序 Distrbute By(分区间排序) 分区间排序 类似MR中Partition，进行分区，结合sort by使用。 Cluseter 当Distribute by和Sorts by字段相同时，可以使用Cluster by方式。Cluster by除了具有Distribute by的功能外还兼具Sort by的功能。但是排序只能
hive中的四个by
yzgyjyw的博客
06-13 3968
order by全局排序，只有一个reducesort by对每一个reducer内部的数据进行排序，全局结果集来说不是排序的，即只能保证每一个reduce输出的文件中的数据是按照规定的字段进行排序的 insert overwrite local directory ” select * from table_name sort by colum_name distribute by注意：这边需要
hive排序函数四个by的总结
qq_41808393的博客
10-02 2424
order By(全局排序) ：一个reducer，执行一个job。Total Job=1,可以在运行日志中看到：number of reucers=1.用在select语句的后面。 sort By(分区内排序)：每个reducer内部进行排序，对全局结果集来说不是排序。随机分区，防止数据倾斜。①设置reduce个数。set mapreduce.job.reducers=3;②查看reduce...
Hive与数据库比较 & hive中4个By的比较
鹜骜的博客
04-15 1173
Hive 和数据库比较 Hive 和数据库除了拥有类似的查询语言，再无类似之处。 1数据格式：hive数据格式可以用户自定义，mysql有自己的系统定义格式； 2数据规模：hive存储的数据量超级大，而mysql只是存储一些少量的业务数据； 3数据存储位置：Hive 存储在 HDFS 。数据库将数据保存在块设备或者本地文件系统中。 4数据更新 ：Hive 中不建议对数据的改写。而数据库中的数据通...
Hive 分桶介绍(大数据学习19)
逆流而上Mr李
03-17 277
1、order by 会对输入做全局排序，因此只有一个reducer，会导致当输入规模较大时，需要较长的计算时间。 2、sort by不是全局排序，其在数据进入reducer前完成排序。因此，如果用sort by进行排序，并且设置mapred.reduce.tasks>1，则sort by只保证每个reducer的输出有序，不保证全局有序。 3、distribute by(字段)根据指...
Hive 排序的几个 BY 的具体使用与区别
04-16
好的，关于你的问题，Hive 排序的几个 BY 的具体使用与区别。Hive中有三种不同的排序方式可以使用：ORDER BY、SORT BY、CLUSTER BY。 ORDER BY：ORDER BY将结果集按照指定列排序并返回结果，排序可以是升序或者降序...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值