Hive基础之排序

最新推荐文章于 2024-09-29 08:32:14 发布
最新推荐文章于 2024-09-29 08:32:14 发布
阅读量90 收藏
点赞数
文章标签： 大数据 数据库

order by

1、order by会对输入按照指定字段做全局排序，输出结果有序，因此只有一个reducer（多个reducer无法保证全局排序，手工设定reduce数量无效）；

　　只有一个reducer会导致当输入规模较大时，需要较长的计算时间，速度很非常慢；在数据量大的情况下慎用order by；

2、hive.mapred.mode（默认值是nonstrict）对order by的影响

　　1）当hive.mapred.mode=nonstrict时，order by和关系型数据库中的order by功能一致，按照指定的某一列或多列排序输出；

　　2）当hive.mapred.mode=strict时，order by必须要使用limit，否则执行会报错；

set hive.mapred.mode=strict;
select * from emp order by empno desc;

FAILED: SemanticException 1:27 In strict mode, if ORDER BY is specified, LIMIT must also be specified. Error encountered near token 'empno'

　　3）当hive.mapred.mode=strict时，分区表必须要指定partition进行查询，否则执行会报错；

FAILED: SemanticException [Error 10041]: No partition predicate found for Alias "xxx" Table "xxxx"；

3、select * from emp where empno > 7782 order by empno desc;的执行过程

从表中读取数据，执行where条件，然后以empno的值做为key，其他列值做为value，然后把数据传到同一个reduce中，根据需要的排序方式进行排序；

注意：where是在map阶段执行的，而非reduce阶段执行。

 

sort by

1、使用sort by可以指定reduce的个数：set mapred.reduce.tasks=10; 对输出的数据在进行归并排序即可得到全部结果；

2、sort by非分区表不受hive.mapred.mode是否是strict还是nostrict的影响（不需要强制使用limit限制）；如果是分区表，必须指定partition字段；

3、sort by的数据只能保证在同一个reduce中的数据可以按照指定字段排序；

4、可以用limit子句大大减少数据量。使用limit n后，传输到reduce端的数据记录数就减少到n* （map个数）；

set mapred.reduce.tasks = 3;
select * from emp sort by empno;

 

7654    MARTIN  SALESMAN        7698    1981-9-28       1250.0  1400.0  30
7698    BLAKE   MANAGER 7839    1981-5-1        2850.0  NULL    30
7782    CLARK   MANAGER 7839    1981-6-9        2450.0  NULL    10
7788    SCOTT   ANALYST 7566    1987-4-19       3000.0  NULL    20
7839    KING    PRESIDENT       NULL    1981-11-17      5000.0  NULL    10
7844    TURNER  SALESMAN        7698    1981-9-8        1500.0  0.0     30
7499    ALLEN   SALESMAN        7698    1981-2-20       1600.0  300.0   30
7521    WARD    SALESMAN        7698    1981-2-22       1250.0  500.0   30
7566    JONES   MANAGER 7839    1981-4-2        2975.0  NULL    20
7876    ADAMS   CLERK   7788    1987-5-23       1100.0  NULL    20
7900    JAMES   CLERK   7698    1981-12-3       950.0   NULL    30
7934    MILLER  CLERK   7782    1982-1-23       1300.0  NULL    10
7369    SMITH   CLERK   7902    1980-12-17      800.0   NULL    20
7902    FORD    ANALYST 7566    1981-12-3       3000.0  NULL    20

 

把上面的结果写到文件中再观察：每个文件中都是按照empno的升序排列的

set mapred.reduce.tasks = 3;
insert overwrite local directory '/home/spark/data' select * from emp sort by empno;

cd /home/spark/data
ls
000000_0
000001_0
000002_0
more 000000_0 
7654MARTINSALESMAN76981981-9-281250.01400.030
7698BLAKEMANAGER78391981-5-12850.0\N30
7782CLARKMANAGER78391981-6-92450.0\N10
7788SCOTTANALYST75661987-4-193000.0\N20
7839KINGPRESIDENT\N1981-11-175000.0\N10
7844TURNERSALESMAN76981981-9-81500.00.030
more 000001_0 
7499ALLENSALESMAN76981981-2-201600.0300.030
7521WARDSALESMAN76981981-2-221250.0500.030
7566JONESMANAGER78391981-4-22975.0\N20
7876ADAMSCLERK77881987-5-231100.0\N20
7900JAMESCLERK76981981-12-3950.0\N30
7934MILLERCLERK77821982-1-231300.0\N10
more 000002_0 
7369SMITHCLERK79021980-12-17800.0\N20
7902FORDANALYST75661981-12-33000.0\N20

可见每个reduce内部的数据是经过排序的。

 

distribute by

1、按照指定的字段把数据分散到不同的reduce文件中（可以指定map到reduce端分发的key，这样可以充分利用hadoop资源，在多个reduce中局部按需要排序的字段进行排序）；可以设定reduce个数；

set mapred.reduce.tasks = 3;
insert overwrite local directory '/home/spark/data' select * from emp  distribute by length(ename) sort by empno; 

cd /home/spark/data
ls
000000_0
000001_0
000002_0
more 000000_0 
7654MARTINSALESMAN76981981-9-281250.01400.030
7844TURNERSALESMAN76981981-9-81500.00.030
7934MILLERCLERK77821982-1-231300.0\N10
more 000001_0 
7521WARDSALESMAN76981981-2-221250.0500.030
7839KINGPRESIDENT\N1981-11-175000.0\N10
7902FORDANALYST75661981-12-33000.0\N20
more 000002_0 
7369SMITHCLERK79021980-12-17800.0\N20
7499ALLENSALESMAN76981981-2-201600.0300.030
7566JONESMANAGER78391981-4-22975.0\N20
7698BLAKEMANAGER78391981-5-12850.0\N30
7782CLARKMANAGER78391981-6-92450.0\N10
7788SCOTTANALYST75661987-4-193000.0\N20
7876ADAMSCLERK77881987-5-231100.0\N20
7900JAMESCLERK76981981-12-3950.0\N30

length是内建函数，也可以指定其他的函数或者使用UDF；

2、distribute by与sort by连用：按照ename指定到reduce，每个reduce中按照ename升序排列；

set mapred.reduce.tasks = 3;
insert overwrite local directory '/home/spark/data' select * from emp  distribute by ename sort by ename; 

cd /home/spark/data
ls
000000_0
000001_0
000002_0
more 000000_0 
7698BLAKEMANAGER78391981-5-12850.0\N30
7839KINGPRESIDENT\N1981-11-175000.0\N10
more 000001_0 
7876ADAMSCLERK77881987-5-231100.0\N20
7499ALLENSALESMAN76981981-2-201600.0300.030
7654MARTINSALESMAN76981981-9-281250.01400.030
7934MILLERCLERK77821982-1-231300.0\N10
7788SCOTTANALYST75661987-4-193000.0\N20
7844TURNERSALESMAN76981981-9-81500.00.030
more 000002_0 
7782CLARKMANAGER78391981-6-92450.0\N10
7902FORDANALYST75661981-12-33000.0\N20
7900JAMESCLERK76981981-12-3950.0\N30
7566JONESMANAGER78391981-4-22975.0\N20
7369SMITHCLERK79021980-12-17800.0\N20
7521WARDSALESMAN76981981-2-221250.0500.030

3、如果sort by只有一个reduce时，和order by输出结果一致；

4、select * from emp where empno>7782 distribute by ename sort by ename;执行过程

从表中读取数据，执行where条件；以distribute by列的值做为key，其他列值做为value，然后把数据根据key值传到不同的reduce，然后按照sort by字段进行排序；

 

cluster by

1、cluster by除了具有distribute by的功能外还兼备sort by功能；

2、当distribute by col1与sort by col1连用，且跟随的字段相同时，可使用cluster by简写；

select * from emp  cluster by ename;

 

Hive排序总结

1、在hive中进行字段排序统计过程中，使用ORDER BY是全局排序，hive只能通过一个reduce进行排序，效率很低；

2、sort by实现部分排序，单个reduce输出的结果是有序的、效率高，通常与distribute by关键字一起使用，distribute by关键字可以指定map到reduce端的分发key， 这样可以充分利用hadoop资源， 在多个reduce中局部按需要排序的字段进行排序；

3、cluster by col1等同于distributed by col1与sort by col1组合。

 

weixin_34221332
关注
Hive 最全面试题及答案(基础篇)
csdn问鼎
02-21 617
hive元数据存储 hive 内部表和外部表的区别 hive常用的几种ORDER BY，SORT BY，DISTRIBUTE BY，CLUSTER BY排序 文件格式 分区和分桶　　　 hive UNION和UNION ALL的区别 hive 区别UDF、UDAF、UDTF的区别 hive 常用的几种join
使用HIVE SQL将多行数据按照指定字段为key排序
leewe7的博客
06-10 2250
使用到的函数 lpad(string str, int len, pad): 返回值：string， 说明：将str进行用pad进行左补到len位 如：hive> select lpad(‘abc’,10,‘td’) from lxw1234; tdtdtdtabc over（partition by class order by sroce）: 按照sroce排序进行累计，order by是个默认的开窗函数，按照class分区。 row_number 与over结合使用 cast: 类型转换 co
java hive查询,Java学习之SQL的HIVE工具几种排序查询简介
weixin_31992237的博客
03-13 220
Java学习过程中需要了解数据库的多种操作技术，由于数据库的复杂化就需要不同的语句来进行处理，这里主要针对HIVE中的order by, sort by, distribute by, cluster by的用法和区别进行介绍。1、order byhive中的order by 和传统sql中的order by 一样，对数据做全局排序，加上排序，会新启动一个job进行排序，会把所有数据放到同一个re...
大数据面试题
热门推荐
Sunshine_2211468152的博客
02-28 1万+
技术面试题 1.Hadoop中有哪些组件？ Hadoop=HDFS+Yarn+MapReduce+Hive+Hbase+... 1).HDFS:分布式文件存储系统 主：namenode,secondarynamenode 从：datanode ...
1、hive实现全排序
weixin_30363981的博客
09-25 320
目的：设置了 3 个reduce，在最终生成的 3 个文件中，实现全局是按year升序，year相同则按温度降序排列 启动hive 1、启动服务端，注意：删除掉hadoop脚本中的调试设置代码 hiveserver2 2、启动客户端 beeline !connect jdbc:hive2://localhost:10000/xxxxxx;auth=noSasl;　　...
Hive中SELECT TOP N的方法(order by与sort by的区别)
weixin_30951389的博客
06-19 589
我想说的SELECT TOP N是取最大前N条或者最小前N条。 Hive提供了limit关键字，再配合order by可以很容易地实现SELECT TOP N。 但是在Hive中order by只能使用1个reduce，如果表的数据量很大，那么order by就会力不从心。 例如我们执行SQL：select a from ljntest01 order by a limit 10; ...
hive基础语法
07-28
- 通过CLUSTERED BY、SORTED BY语句可以对数据进行分区和排序。 例如，创建一个简单的表可以使用语句： ```sql CREATE TABLE pokes(foo INT, bar STRING); ``` 创建一个外部表，指定数据存储路径及表结构描述： ``...
Hive基础
weixin_44819454的博客
06-09 208
hive基础知识
大数据技术之Hive基础知识及基础操作（一）
weixin_63378697的博客
01-09 923
一、数据仓库 二、数据仓库的体系结构 三、Hive简介 四、Hive与其他组件关系 五、Hive的数据单元 六、Hive系统架构概述 七、Hive组成模块 数据仓库是一个面向主题的、集成的、相对稳定的、反应历史变化的数。据集合，用于支持管理决策。
Hive中的几种排序方式
Swt_BigData的博客
09-03 1476
Order By  Order By 会对输入做全局的排序，所以只会有一个reduce，这样的话在大量数据面前查询效率较低，费时较长 select * from salary order by salary desc; //desc 升序 asc降序 结果: +--------------+----------------+----------------+ | salary.nam...
python中sorted简单的使用
xuyanwei5的博客
11-17 361
sorted sorted(iterable,key=函数,reverse=False) 功能:排序 参数: iterable(容器类型数据,range对象,迭代器) key 指定 自定义函数或 内置函数 reverse : 代表升序或者降序 , 默认是升序(从小到大排序) reverse=False 返回值: 排序后的结果 # 1.默认是从小到大排序 lst = [1,2,3,4,5,-90,-4,-1,100] res = sorted(lst) print(res) #
hive中order by、distribute by、sort by和cluster by的区别和联系
Mr.pan felix的专栏
06-14 1609
order by order by 会对数据进行全局排序,和oracle和mysql等数据库中的order by 效果一样，它只在一个reduce中进行所以数据量特别大的时候效率非常低。 而且当设置 ：set hive.mapred.mode=strict的时候不指定limit，执行select会报错，如下： LIMIT must also be specified。 sort by sort by 是单独在各自的reduce中进行排序，所以并不能保证全局有序，一般和distribute by .
hive，order by ,distribute by ,sort by ,cluster by 区别，作用，用法
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
06-29 1677
0 order by 是全局有序。sort by是在一个reduce中排序，该reduce的输出有序，是局部有序。distriute by c1 是作用于map输出的结果，把c1的值相同的记录输入到同一个reduce中；如果reduce数目比较少，c1多个不同值的记录会输入到同一个reduce中。 1distribute by要写在sort by前面，不然报错 2distribute by c1,c2sort by c1,c2 = cluster by c1,c2 ，注意distribute by...
[hive] 总结hive只能有一个reduce运行的情况及改善方法
朱同学的博客
11-16 3702
推荐 hive的调优手段总结 hive在什么情况下只能有一个reduce运行 有时不管怎么设置调整reduce个数的参数，任务中一直都只有一个reduce任务,此时所有数据都发往一个reduce会导致任务执行缓慢甚至失败,因此实际工作过程中要尽量避免这种情况的发生. 有以下情况会导致只有一个reduce执行任务: 1 使用udtf聚集函数却没带group by 比如 select count...
如何实现全行业证照一站式结构化识别？Textln企业资质证照识别上线！
b_qixin的博客
09-26 372
对于无Key的Value信息，例如下图中的证照名称“药品经营许可证”，模型也可基于强大的语义理解能力与所具备的专项领域知识，实现准确完整的关键信息抽取。，并理解信息间的对应关系，以“K-V对”的形式自动实现证照中全部关键信息的结构化抽取，提升信息数据的提取和录入效率。除抽取证照中的文本信息外，模型集成了印章检测能力，可以捕捉资质证照中的印章信息，并输出印章的类型、颜色、形状及内容。自动识别录入企业经营资质信息，可应用于机构开户、经营性贷款审批等金融服务场景，提升信息录入效率，控制业务风险。
Kafka快速实战与基本原理详解
最新发布
xajh_czbk的博客
09-29 213
消费消息：但是迟迟没有消费（因为kafka默认是从消费者启动之后开始消费，也就是说刚才发的那条消费不到，原因是那个时候消费者还没有启动。）我们现在启动了消费者了，可以尝试发消息了。另一种消费方式：指定从哪里消费。刚才第一次消费的时候没有消费test1，原因上面有写。这里的这个命令就可以消费到全部了,因为指定了从哪里消费。说白了，队列里的消息只能被同一个消费者组里面的一个消费者消费。关键他还可以重复消费。启动好了kafka之后，我们再去看ZK中的节点多了这些。创建一个主题并看一下：有了主题后就可以发消息了。
实时湖仓架构演变
pointer_future的专栏
09-26 461
缺点是 CDC 入离线数仓产生的文件不好控制，而且由于那个时候 iceberg 还不能支持 upsert (有就update,没有就insert),所以使用 flink CDC(Change Data Capture) 入仓所采用的“前天的一个全量表，合并今天的增量表，产生今天的全量表“的存储方式。而且基于LSM数据结构的特点，只要增量数据不大，两个 TAG 之间是可以复用大量文件的，某些场景有上百倍的节省！缺点是不够灵活，只能查询计算好的聚合数据，想查其他维度或条件的数据，要从头开发一套完整的流程。
当微服务中调度返回大数据量时如何处理
ZDFXN的博客
09-27 499
总之，当需要返回大数据量时，可以根据具体的需求和技术特点选择合适的方案。同时，通过限制每页显示的数据条数，可以减少网络传输的负担。同时，通过分布式计算，可以实现数据的并行处理，提高处理效率。同时，通过异步处理，可以避免阻塞主线程，提高系统的并发能力。适用场景：适用于需要实时处理大量数据的场景，如电商网站的实时交易监控、物联网设备的数据采集等。适用场景：适用于需要展示大量数据列表的场景，如电商平台的商品列表、社交媒体的动态列表等。适用场景：适用于需要频繁读取同一份数据的场景，如用户信息查询、热点数据统计等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值