Hive 全局排序

薛雄辉_sat

已于 2022-03-11 14:56:57 修改

阅读量2.3k

点赞数

文章标签： hive hadoop 大数据

于 2022-03-11 14:56:27 首次发布

本文链接：https://blog.csdn.net/xxh_segi/article/details/123424904

版权

本文介绍了Hive中实现全局排序的方法，重点讨论了如何使用Hive进行全局排序来获取数据清单，并探讨了如何利用全局排序获取TopN记录的技巧。

摘要由CSDN通过智能技术生成

Hive全局排序取清单

CREATE TABLE tmp2 AS
SELECT *
FROM tmp 
DISTRIBUTE BY (
	CASE WHEN year < 1930 THEN 0 
		 WHEN year > 1960 THEN 2 
		 ELSE 1<

最低0.47元/天解锁文章

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

薛雄辉_sat

关注关注

0
点赞
踩
0

收藏

觉得还不错? 一键收藏
0
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

hive：几种排序的区别（排序）

不花的花和尚的博客

02-25

1012

排序 6.5.1 全局排序（Order By） Order By：全局排序，只有一个Reducer 1．使用 ORDER BY 子句排序 ASC（ascend）: 升序（默认） DESC（descend）: 降序 2．ORDER BY 子句在SELECT语句的结尾 3．案例实操（1）查询员工信息按工资升序排列 hive (default)> select * from ...

hive的全局排序和局部排序

weixin_38629422的博客

11-22

2460

order by:全局排序！最终使用一个reducetask来完成排序，就算设置了很多个也没用，如果数据量很大使用order by是不明智的 sort by

参与评论您还未登录，请先登录后发表或查看评论

hive 全局排序

weixin_34113237的博客

10-09

514

不分发数据，使用单个reducer set mapred.reduce.tasks=1; select * from dw.dw_app where dt>='2016-09-01' and dt <='2016-09-18' order by stime limit 30000; 包多一层，是用order by select t.*...

HIVE排序（全局排序、内部排序、分区排序）

zmsyx的博客

11-15

217

对于distribute by进行测试，一定要分配多reduce进行处理，否则无法看到distribute by的效果。1. Distribute By：类似MR中partition，进行分区，结合sort by使用。cluster by除了具有distribute by的功能外还兼具sort by的功能。Sort By：每个MapReduce内部进行排序，对全局结果集来说不是排序。当distribute by和sorts by字段相同时，可以使用cluster by方式。例如：按照部门和工资升序排序。

hive 全局排序（Order By）、每个Reduce内部排序（Sort By）、Cluster By

热门推荐

不是一枚开发

07-03

5万+

如： emp表按照部门和工资升序排序对于大规模的数据集order by的效率非常低。在并不需要全局排序时，可使用sort by（desc降序 asc升序）。Sort by在每个Reducer内部进行排序，。 (distribute by 控制某个特定行到哪个reducer,类似MR中partition分区)如： employee表根据部门分区，按照员工编号排序当时，可以使用cluster by方式。如： employee表根据部门号分区，按照部门号排序...

Hive数据排序

qianchun22的博客

09-19

339

Hive数据排序Hive数据排序order by(全局排序)sort by(分区内排序)/distribute bycluster by总结 Hive数据排序 order by(全局排序) order by (asc|desc)类似于标准SQL 只使用一个Reducer执行全局数据排序速度慢,应提前做好数据过滤支持使用case when或表达式支持按位置编号排序 set hive.groupby.orderby.position.alias=true; 案例： select name,id,i

hive的优化

guohuishan的博客

02-12

275

1.数据量较大的情况下慎用count(distinct name) 问题：使用disticnt函数，所有的数据只会shuffle到一个reducer上，导致reducer数据倾斜严重易造成数据倾斜，比如：男UV，女UV，淘宝一天30亿的PV，如果按性别分组，分配2个reduce,每个reduce处理15亿数据。优化：建议使用group by 字段，分组之后再对该字段做次数统计； hive去重有...

Hive分组排序

Bee_Darker的博客

06-04

2290

任务目标 1.了解Hive中Order by 、Sort by的用法以及区别 2.了解Hive中Distribute by、Group by以及Cluster by的用法于区别

hive全局排序和分桶

qq_39126213的博客

05-16

249

hive中如何实现大数据情况下的全局排序参照hbase的设计范围分区+局部有序 (distribute by sort by +指定范围) 问题:遇到这样的面试题,有100t的数据,我们需要对其进行全局排序,怎么样做效率最高? 一般来说我们在实际中很少会遇到全局排序的状况会很少,所以我们一般都会采取子查询之后的数据进行排序,或者选取topn来排序. 如果非要对全局进行排序,我们需要使用udf转化成局部排序,这样话,就可以使用多个reduce来进行局部排序达到整体的有序.但是这里要注意采样数据

hive十亿级以上数据全局排序的一种实现方式

eaglejava2015的博客

08-29

3224

hive十亿级以上数据全局排序的一种实现方式。 hive归并排序的一种特殊实现。

Hive全局排序解决之道

pengpengsays

01-05

2097

全局排序Order By Hive中的全局排序，使用Order By来进行，具体语法为： SELECT <select_expression>, <select_expression>, ... FROM <table_name> ORDER BY <col_name> [ASC|DESC] [,col_name [ASC|DESC], ...] 但在Hive中使用全局排序时，需要注意，Hive会将所有数据交给一个Reduce任务计算，实现

hive的全局排序分区排序局部排序

qq_45450889的博客

04-12

2761

1. 全局排序 order by a. 执行的时候只有一个reduce b. 默认是asc升序 c. desc查询结果倒序 d. 在select语句的结尾 e. 案例实操： i. 查询员工信息按工资升序排列：select * from emp order by salary; 或者 select * from emp order by salary asc; ii. 查询员工信息按工资降序排列： select * from emp order by salary desc;

Hive的排序

yxk_nuli的博客

08-31

467

HIVE中的排序 Order by 是只通过一个reduce进行的完全的排序结果，对于特别大的数据集时候效率太慢，在多数情况下不需要进行全局排序。此时换成Hive的sort by进行排序，sort by为每一个reduce进行排序，为每一个reducer产生一个排序文件。在某些特殊的情况下，你需要控制某个特定行应该到哪个reducer，通常是为了进行后续的聚集操作。Hive的distri...

hive数据排序

最新发布

m0_75280426的博客

04-23

455

当分区字段和排序字段相同Cluster By可以简化Distribute By+Sort By 的SQL写法，也就是说当Distribute By和Sort By 字段相同时，可以使用Cluster By代替Distribute By和Sort By。Cluster By 当Sistribute By和Sort By 字段相同时，可以使用Cluster By代替Distribute By和Sort By,但是Cluster By默认是升序，不能指定排序方向。升序：asc ，不需要指定，默认是升序。

Hive-排序（全局排序、区内数据排序）-Order By、Distribute By、Sort By、Cluster By

m0_46538284的博客

12-01

675

全局排序全局最终结果排序 ASC（ascend）: 升序（默认） DESC（descend）: 降序原表信息查看订单信息并按照消费升序排列 select * from tb_orders order by money asc; 查看订单信息并按照消费降序排列 select * from tb_orders order by money desc; 按照别名排序查看订单信息并按照消费钱数的2倍降序排列 select *,money*2 as

在hive里面如何对一个很大的数据量进行全局排序

m0_51769717的博客

03-28

902

distribute by可以通过指定字段然后再通过字段的hash值对分区数取余然后分到各个分区里面这样大大避免了数据倾斜的可能性然后再使用sort by对每个分区进行排序这样就组成了内部有序外部无序的数据集，但是他也不不能达到最终全局排序的结果需要进行一次归并排序。他会把数据分到各个Reduce Task里面进行排序但是这样也有问题他可能有分配不均匀问题导致一个Reduce Task的数量特别多导致数据倾斜。由于order by 会对数据进行全局排序导致所有数据分到一个分区里。

hive几种排序

lm709409753的专栏

01-19

869

order by：全局排序 select * from emp order by sal; sort by：对于每个reduce进行排序 set mapreduce.job.reduces=3; insert overwrite local directory ‘/opt/datas/emp_sort’ row format delimited fie

Hive基础知识（十五）：Hive中SQL排序方式全解

zuodingquan666的博客

01-15

1731

Order By：全局排序，只有一个 Reducer1）使用 ORDER BY 子句排序ASC（ascend）: 升序（默认）DESC（descend）: 降序2）ORDER BY 子句在 SELECT 语句的结尾3）案例实操（1）查询员工信息按工资升序排列（2）查询员工信息按工资降序排列。

hive 的排序方式对比

06-05

3. Sort By 排序：在查询语句中使用 SORT BY 子句指定需要排序的字段，Hive 会在 Map 端对数据进行局部排序，然后在 Reduce 端对数据进行全局排序。该方式适用于需要对部分数据进行排序的场景，但可能会导致 Reduce ...