Hive在查询中使用排序

最新推荐文章于 2021-11-02 15:43:04 发布
最新推荐文章于 2021-11-02 15:43:04 发布
阅读量1.1k 收藏
点赞数
分类专栏： Hive 文章标签： Hive
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chengqiuming/article/details/78725196
版权
一 按照某字段排序
hive> select empno,ename,sal from emp order by sal;
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
set mapred.reduce.tasks=<number>
Starting Job = job_201708302015_0002, Tracking URL = http://localhost:50030/jobdetails.jsp?jobid=job_201708302015_0002
Kill Command = /opt/hadoop-1.2.1/libexec/../bin/hadoop job -kill job_201708302015_0002
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
2017-08-30 20:30:16,554 Stage-1 map = 0%, reduce = 0%
2017-08-30 20:30:35,866 Stage-1 map = 100%, reduce = 0%, Cumulative CPU 1.41 sec
2017-08-30 20:30:51,257 Stage-1 map = 100%, reduce = 33%, Cumulative CPU 1.41 sec
2017-08-30 20:30:54,287 Stage-1 map = 100%, reduce = 100%, Cumulative CPU 3.32 sec
MapReduce Total cumulative CPU time: 3 seconds 320 msec
Ended Job = job_201708302015_0002
MapReduce Jobs Launched:
Job 0: Map: 1 Reduce: 1 Cumulative CPU: 3.32 sec HDFS Read: 635 HDFS Write: 319 SUCCESS
Total MapReduce CPU Time Spent: 3 seconds 320 msec
OK
7369.0 SMITH 4800.0
7900.0 JAMES 4950.0
1001.0 Tome 5000.0
1002.0 Tome 5000.0
7876.0 ADAMS 5100.0
7521.0 WARD 5250.0
7654.0 MARTIN 5250.0
7934.0 MILLER 5300.0
7844.0 TURNER 5500.0
7499.0 ALLEN 5600.0
7788.0 SCOTT 7000.0
7902.0 FORD 7000.0
7782.0 CLARK 8450.0
7698.0 BLAKE 8850.0
7566.0 JONES 9075.0
7839.0 KING 12111.0
Time taken: 61.037 seconds, Fetched: 16 row(s)

二 按表达式排序
hive> select empno,ename,sal,sal*12 from emp order by sal*12;
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
set mapred.reduce.tasks=<number>
Starting Job = job_201708302015_0003, Tracking URL = http://localhost:50030/jobdetails.jsp?jobid=job_201708302015_0003
Kill Command = /opt/hadoop-1.2.1/libexec/../bin/hadoop job -kill job_201708302015_0003
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
2017-08-30 20:34:15,655 Stage-1 map = 0%, reduce = 0%
2017-08-30 20:34:25,747 Stage-1 map = 100%, reduce = 0%, Cumulative CPU 2.07 sec
2017-08-30 20:34:42,236 Stage-1 map = 100%, reduce = 33%, Cumulative CPU 2.07 sec
2017-08-30 20:34:45,276 Stage-1 map = 100%, reduce = 67%, Cumulative CPU 2.07 sec
2017-08-30 20:34:46,288 Stage-1 map = 100%, reduce = 100%, Cumulative CPU 4.24 sec
MapReduce Total cumulative CPU time: 4 seconds 240 msec
Ended Job = job_201708302015_0003
MapReduce Jobs Launched:
Job 0: Map: 1 Reduce: 1 Cumulative CPU: 4.24 sec HDFS Read: 635 HDFS Write: 451 SUCCESS
Total MapReduce CPU Time Spent: 4 seconds 240 msec
OK
7369.0 SMITH 4800.0 57600.0
7900.0 JAMES 4950.0 59400.0
1001.0 Tome 5000.0 60000.0
1002.0 Tome 5000.0 60000.0
7876.0 ADAMS 5100.0 61200.0
7521.0 WARD 5250.0 63000.0
7654.0 MARTIN 5250.0 63000.0
7934.0 MILLER 5300.0 63600.0
7844.0 TURNER 5500.0 66000.0
7499.0 ALLEN 5600.0 67200.0
7788.0 SCOTT 7000.0 84000.0
7902.0 FORD 7000.0 84000.0
7782.0 CLARK 8450.0 101400.0
7698.0 BLAKE 8850.0 106200.0
7566.0 JONES 9075.0 108900.0
7839.0 KING 12111.0 145332.0
Time taken: 46.63 seconds, Fetched: 16 row(s)

三 按别名排序
hive> select empno,ename,sal,sal*12 annsal from emp order by annsal;
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
set mapred.reduce.tasks=<number>
Starting Job = job_201708302015_0004, Tracking URL = http://localhost:50030/jobdetails.jsp?jobid=job_201708302015_0004
Kill Command = /opt/hadoop-1.2.1/libexec/../bin/hadoop job -kill job_201708302015_0004
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
2017-08-30 20:36:11,063 Stage-1 map = 0%, reduce = 0%
2017-08-30 20:36:24,233 Stage-1 map = 100%, reduce = 0%, Cumulative CPU 2.24 sec
2017-08-30 20:36:41,527 Stage-1 map = 100%, reduce = 33%, Cumulative CPU 2.24 sec
2017-08-30 20:36:44,554 Stage-1 map = 100%, reduce = 67%, Cumulative CPU 2.24 sec
2017-08-30 20:36:45,561 Stage-1 map = 100%, reduce = 100%, Cumulative CPU 4.2 sec
MapReduce Total cumulative CPU time: 4 seconds 200 msec
Ended Job = job_201708302015_0004
MapReduce Jobs Launched:
Job 0: Map: 1 Reduce: 1 Cumulative CPU: 4.2 sec HDFS Read: 635 HDFS Write: 451 SUCCESS
Total MapReduce CPU Time Spent: 4 seconds 200 msec
OK
7369.0 SMITH 4800.0 57600.0
7900.0 JAMES 4950.0 59400.0
1001.0 Tome 5000.0 60000.0
1002.0 Tome 5000.0 60000.0
7876.0 ADAMS 5100.0 61200.0
7521.0 WARD 5250.0 63000.0
7654.0 MARTIN 5250.0 63000.0
7934.0 MILLER 5300.0 63600.0
7844.0 TURNER 5500.0 66000.0
7499.0 ALLEN 5600.0 67200.0
7788.0 SCOTT 7000.0 84000.0
7902.0 FORD 7000.0 84000.0
7782.0 CLARK 8450.0 101400.0
7698.0 BLAKE 8850.0 106200.0
7566.0 JONES 9075.0 108900.0
7839.0 KING 12111.0 145332.0
Time taken: 50.667 seconds, Fetched: 16 row(s)

四 按序号排序
必须设置：
set hive.groupby.orderby.position.alias=true;
hive> select empno,ename,sal,sal*12 annsal from emp order by 4;
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
set mapred.reduce.tasks=<number>
Starting Job = job_201708302015_0005, Tracking URL = http://localhost:50030/jobdetails.jsp?jobid=job_201708302015_0005
Kill Command = /opt/hadoop-1.2.1/libexec/../bin/hadoop job -kill job_201708302015_0005
Hadoop job information for Stage-1: number of mappers: 1; number of reducers: 1
2017-08-30 20:37:59,324 Stage-1 map = 0%, reduce = 0%
2017-08-30 20:38:07,379 Stage-1 map = 100%, reduce = 0%, Cumulative CPU 2.08 sec
2017-08-30 20:38:22,512 Stage-1 map = 100%, reduce = 33%, Cumulative CPU 2.08 sec
2017-08-30 20:38:24,535 Stage-1 map = 100%, reduce = 100%, Cumulative CPU 3.74 sec
MapReduce Total cumulative CPU time: 3 seconds 740 msec
Ended Job = job_201708302015_0005
MapReduce Jobs Launched:
Job 0: Map: 1 Reduce: 1 Cumulative CPU: 3.74 sec HDFS Read: 635 HDFS Write: 451 SUCCESS
Total MapReduce CPU Time Spent: 3 seconds 740 msec
OK
1001.0 Tome 5000.0 60000.0
1002.0 Tome 5000.0 60000.0
7369.0 SMITH 4800.0 57600.0
7499.0 ALLEN 5600.0 67200.0
7521.0 WARD 5250.0 63000.0
7566.0 JONES 9075.0 108900.0
7654.0 MARTIN 5250.0 63000.0
7698.0 BLAKE 8850.0 106200.0
7782.0 CLARK 8450.0 101400.0
7788.0 SCOTT 7000.0 84000.0
7839.0 KING 12111.0 145332.0
7844.0 TURNER 5500.0 66000.0
7876.0 ADAMS 5100.0 61200.0
7900.0 JAMES 4950.0 59400.0
7902.0 FORD 7000.0 84000.0
7934.0 MILLER 5300.0 63600.0
Time taken: 42.186 seconds, Fetched: 16 row(s)

五 关于null
如果含有null
若是升序，则null排在最前面
若是降序，则null排在最后面
chengqiuming
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hive 查询之排序
ITBOY_ITBOX博客
05-05 524
全局排序（Order By） Order By：全局排序，只有一个Reducer 1．使用 ORDER BY 子句排序 ASC（ascend）: 升序（默认） DESC（descend）: 降序 2．ORDER BY 子句在SELECT语句的结尾 3．案例实操 （1）查询员工信息按工资升序排列 ...
hive：排序查询
weixin_41391619的博客
12-06 229
hive排序查询中所涉及到的order by 、sort by 、distribute by和cluster by
Hive查询之排序
张鑫的博客
08-13 9913
一、查询语句注意事项 1、where子句中不能使用字段别名 2、like和rlike 1）使用LIKE运算选择类似的值 2）选择条件可以包含字符或数字: % 代表零个或多个字符(任意个字符)。 _ 代表一个字符。 3）RLIKE子句是Hive中这个功能的一个扩展，其可以通过Java的正则表达式这个更强大的语言来指定匹配条件。 4）案例实操        （1）查找以2开头薪水的员...
查询排序_Hive基础之排序查询
weixin_30139213的博客
12-24 196
hive中排序查询的语法见：LanguageManual SortBy,排序中包括ORDER BY, SORT BY, CLUSTER BY, and DISTRIBUTE BY四种方法。1.order byorder by是与关系型数据库的用法是一样的，还以员工表emp为例，按照员工编号降序进行排列的查询语句如下： select * from emp order by empno desc; 执...
HIVE排序
qq_33361080的博客
09-14 237
1.官方文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+SortBy 启动时的一些提示信息 In order to change the average load for a reducer (in bytes):   set hive.exec.reducers.bytes.per.reducer=&lt;...
Hive中查询操作
01-20
在Hive中，查询操作是数据处理的核心，它允许用户从大数据存储中提取所需的信息。以下将详细解析Hive查询语法及其基本查询方法。 一、Hive查询语法 Hive的查询语句遵循标准SQL的基本结构，但也有一些Hive特有的扩展...
大数据学习：Hive数据查询语言.pdf
12-07
在Hive中，我们可以通过HiveQL语言查询数据，查询数据的结果会存储在结果集中。 SELECT 语句分析 SELECT 语句是 Hive 数据查询语言中最基本的语句，用于从数据库中查询数据。SELECT 语句的完整语法格式如下： ```...
14-Hive查询1
08-08
Hive 是一种基于 Hadoop 的数据仓库工具，它允许用户使用类 SQL 语言（称为HiveQL或HQL）查询和管理分布式存储的数据。Hive 的查询过程遵循 Hadoop MapReduce 作业执行模型，将用户的 SQL 语句转化为 MapReduce 作业...
桶排序：深入Hive桶技术及其应用
最新发布
06-28
Hive是一种数据仓库软件项目，用于对存储在分布式存储系统（如Hadoop）中的大数据进行查询和管理。它定义了一种类似于SQL的查询语言，称为HiveQL，允许用户执行数据查询、数据摘要和数据挖掘等操作。 ### Hive的...
hive简单使用共13页.pdf.zip
10-29
5. **性能优化**：Hive提供了多种优化手段，如创建物化视图、使用Bucketing（分桶）和Sort By（排序）提升JOIN操作的效率，以及使用EXPLAIN命令分析查询计划以调整查询语句。 6. **Hive与Hadoop的关系**：Hive依赖...
Hive查询中的sql语句顺序
Huc673619的博客
10-05 226
SELECT [ALL | DISTINCT] select_expr, select_expr, ... FROM table_reference 从什么表查 [WHERE where_condition] 过滤 [GROUP BY col_list] 分组查询 [HAVING col_list] 分组后过滤 [ORDER BY col_list] 排序 统称为hive中4个人 [CLUSTER BY col_list | [DI
Hive中的排序语法
bbbeoy的专栏
03-20 1108
目录(?)[-] Hive中的排序语法 ORDER BYSORT BYDISTRIBUTE BY with SORT BYCLUSTER BY来代替总结 Hive配置中有个参数hive.mapred.mode，分为nonstrict，strict，默认是nonstrict 如果设置为strict，会对三种情况的语句在compile环节做过滤： 1. 笛卡尔积Jo
Hive排序详细案例
@小刘同学nice
05-26 434
全局排序（Order By） Order By：全局排序，只有一个Reducer 使用 ORDER BY 子句排序 ASC（ascend）: 升序（默认） DESC（descend）: 降序 ORDER BY 子句在SELECT语句的结尾 案例实操 查询员工信息按工资升序排列 hive (default)> select * from emp order by sal; 查询员工信...
hive查询中的排序总结
秃头小姐姐
03-13 243
四个排序总结 order by 全局排序 reduce启动个数为一个 sort by 区内排序和distrbute by 结合使用 reduce个数为多个 distribute by 同上 reduce个数为多个 cluster by 当distribute by 和 sort by相同时 使用。 reduce个数为多个 全局排序（Order By） Order By：全局排序，一个Reducer,使用 Order By 子句排序 ASC（ascend）:升序（默认）;DESC（
【Hive】01_insert intoselect 字段顺序问题验证
hebaojing的博客
10-23 2735
DROP TABLE IF EXISTS test_table1 ; CREATE TABLE IF NOT EXISTS test_table1( `c1` int COMMENT "第一列", `c2` int COMMENT "第二列", `c3` int COMMENT "第二列" ); DROP TABLE IF EXISTS test_table2 ; CREATE TABLE IF NOT EXISTS test_table2( `d1` int COMMENT "第一列",
Hive 四种排序方法功能和使用
是个好男人的博客
05-25 1906
1.Order By （1）功能 根据指定字段进行全局排序，和关系型数据库的用法一样，会生成一个ReduceTask，默认是升序。实际中用的比较多 （2）例子 --升序 select * from emp order by sal; --降序 select * from emp order by sal desc; --多列排序 select ename, deptno, sal from emp order by deptno, sal; 2.Sort By （1）功能 根.
一起学Hive——总结常用的Hive优化技巧
iqifenxia的博客
11-02 668
1
hive的查询注意事项以及优化总结 .
weixin_33836874的博客
06-20 730
Hive是将符合SQL语法的字符串解析生成可以在Hadoop上执行的MapReduce的工具。使用Hive尽量按照分布式计算的一些特点来设计sql，和传统关系型数据库有区别， 所以需要去掉原有关系型数据库下开发的一些固有思维。 基本原则： 1：尽量尽早地过滤数据，减少每个阶段的数据量,对于分区表要加分区，同时只选择需要使用到的字段 select ... from A join B ...
hive的升降序语句
qq_43662627的博客
08-21 1855
这是我的数据集 #降序排列 select *from emp order by desc; #升序排列 select *from emp order by asc; #设置Map阶段排序 set mapreduce.job.reduces=3;
hivesql的在分组排序
07-28
Hive SQL中的分组排序可以使用窗口函数和ORDER BY子句来实现。在给定的表中，可以使用PARTITION BY子句将数据按照指定的列进行分组，然后使用ORDER BY子句对每个分组内的数据进行排序。 例如，引用\[1\]中的示例代码展示了如何在students_article表中按照student_id进行分组，并使用rand()函数进行随机抽样，然后使用ROW_NUMBER()函数为每个学生的作文进行编号。最后，通过WHERE子句筛选出每个学生的前5篇作文。 另外，引用\[2\]中的示例代码展示了如何在service_visit表中按照visit_hour进行分组，并使用visit_cnt进行排序。通过使用ROW_NUMBER()函数为每个小时内的服务进行编号，然后通过WHERE子句筛选出每个小时内访问量前2的服务。 综上所述，Hive SQL中的分组排序可以通过窗口函数和ORDER BY子句来实现，具体的实现方式可以根据具体的需求和数据结构进行调整。 #### 引用[.reference_title] - *1* [hive sql 分组随机取数](https://blog.csdn.net/weixin_35057064/article/details/127227430)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* *3* [[Hive SQL] 实现分组排序、分组topN](https://blog.csdn.net/sinat_41663922/article/details/118379494)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值