Hive分组排序

已于 2023-05-29 10:25:52 修改
阅读量999 收藏 2
点赞数
分类专栏： 大数据 文章标签： hive 大数据 hadoop
于 2023-01-06 09:30:00 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/AOAIYI/article/details/128547932
版权

Hive分组排序

文章目录

一、实验目的

1.了解Hive中Order by 、Sort by的用法以及区别

2.了解Hive中Distribute by、Group by以及Cluster by的用法于区别

二、实验原理

Hive中支持多种分组操作：Order by、Sort by、Group by、Distribute by、Cluster by等

（1）Hive中的Order by和传统Sql中的Order by一样，对查询结果做全局排序，会新启动一个Job进行排序，会把所有数据放到同一个Reduce中进行处理，不管数据多少，不管文件多少，都启用一个Reduce进行处理。如果指定了hive.mapred.mode=strict（默认值是nonstrict），这时就必须指定limit来限制输出条数，原因是：所有的数据都会在同一个Reducer端进行，数据量大的情况下可能不出结果，那么在这样的严格模式下，必须指定输出的条数。

（2）Sort by是局部排序，会在每个Reduce端做排序，单个Reduce出来的数据是有序的，假设我设置了3个Reduce，那么这3个Reduce就会生成三个文件，每一个文件都会按Sort by后设置的条件排序，但是当这3个文件数据合在一起就不一定有序了，一般情况下可以先进行Sort by局部排序完成后，再进行全局排序，就会提高不少效率。

（3）Group by是分组查询，一般配合聚合函数一起使用，Group by有一个原则，就是Select后面的所有列中，没有使用聚合函数的列，必须出现在Group by后面。

（4）Hive中的Distribute by是控制在Map端如何拆分数据给Reduce端的。按照指定的字段对数据划分到不同的Reduce输出文件中，默认是采用Hash算法。对于Distribute by进行测试，一定要分配多Reduce进行处理，否则无法看到Distribute by的效果。

（5）Cluster by除了具有Distribute by的功能外还兼具Sort by的功能，相当于Distribute by+ Sort by的结合，但是排序只能是倒叙排序，不能指定排序规则为ASC或者DESC。

三、实验环境

Linux Ubuntu 16.04

jdk-7u75-linux-x64

hive-1.1.0-cdh5.4.5

hadoop-2.6.0-cdh5.4.5

mysql-5.7.24

四、实验内容

1.全局排序Order by与局部排序Sort by的用法，以及各自适用的场景。

2.分组查询Group by的应用场景与基本语法。

3.Cluster by与Distribute by和Sort by的关系及操作。

五、实验步骤

1、启动集群

1.首先检查Hadoop相关进程，是否已经启动。若未启动，切换到/apps/hadoop/sbin目录下，启动Hadoop。

jps
cd /apps/hadoop/sbin
./start-all.sh

在这里插入图片描述

2.然后开启Mysql，用于存放Hive的元数据。

sudo service mysql start

在这里插入图片描述

3.切换到/data/hive4目录下，如不存在需提前创建hive4文件夹。

mkdir /data/hive4
cd /data/hive4

在这里插入图片描述

4.上传文件到/data/hive4
在这里插入图片描述
5.在终端命令行界面，直接输入Hive命令，启动Hive命令行。

hive

在这里插入图片描述

2、Order by的演示

1.在Hive中创建一个goods_visit表，有goods_id ，click_num 2个字段，字符类型都为string，以‘\t’为分隔符。

create table goods_visit(goods_id string,click_num int)
row format delimited fields terminated by '\t'  stored as textfile;

在这里插入图片描述

创建完成，查询一下。

show tables;

在这里插入图片描述

2.将本地 /data/hive4下的表goods_visit中数据导入到Hive中的goods_visit表中。

load data local inpath'/data/hive4/goods_visit' into table goods_visit;

在这里插入图片描述

3.使用Order by对商品点击次数从大到小排序，并通过limit取出10条数据。

select * from goods_visit order by click_num desc limit 10;

在这里插入图片描述

3、Sort by 的演示

1.为演示Sort by效果 ，我将Reduce个数设置为三个，命令如下:

set mapred.reduce.tasks=3;

在这里插入图片描述

2.为某电商创建一个订单明细表，名为order_items，包含item_id 、order_id 、goods_id 、goods_number 、shop_price 、goods_price 、goods_amount 七个字段，字符类型都为string，以‘\t’为分隔符。

create table order_items(item_id string,order_id string,goods_id string,goods_number string,
shop_price string,goods_price string,goods_amount string)
row format delimited fields terminated by '\t'  stored as textfile;

在这里插入图片描述

3.将本地/data/hive4/下的表order_items中数据导入到Hive中的order_items表中。

load data local inpath '/data/hive4/order_items' into table order_items;

在这里插入图片描述

4.按商品ID(goods_id)进行排序。

select * from order_items sort by goods_id;

在这里插入图片描述

4、Group by的演示

1.为某电商创建一个买家收藏夹表，名为buy_favorite，有buyer_id 、goods_id 、dt 三个字段，字符类型都为string，以‘\t’为分隔符。

create table buyer_favorite(buyer_id string,goods_id string,dt string)
row format delimited fields terminated by '\t'  stored as textfile;

在这里插入图片描述

2.将本地/data/hive4/下的表buyer_favorite中数据导入到Hive中的buyer_favorite表中。

load data local inpath '/data/hive4/buyer_favorite' into table buyer_favorite;

在这里插入图片描述

3.按dt分组查询每天的buyer_id数量。

select dt,count(buyer_id) from buyer_favorite group by dt;

在这里插入图片描述

5、Distribute by的演示

1.为演示Distribute by效果 ，我将Reduce个数设置为三个，命令如下:

set mapred.reduce.tasks=3;

在这里插入图片描述

2.使用买家收藏夹表，按用户ID(buyer_id)做分发(distribute by)，输出到本地/data/hive4/out中。

insert overwrite local directory '/data/hive4/out' select * from buyer_favorite distribute by buyer_id;

在这里插入图片描述

3.切换到linux本地窗口，查看目录/data/hive4/out下的文件。

cd /data/hive4/out
ls

数据按buyer_id分发到三个文件中。
在这里插入图片描述

6、Cluster by 的演示

Cluster by除了具有Distribute by的功能外还兼具Sort by的功能，相当于Distribute by+ Sort by的结合，但是排序只能是倒叙排序，不能指定排序规则为ASC或者DESC。

1.将Reduce个数设置为3个。

set mapred.reduce.tasks=3;

在这里插入图片描述

2.按buyer_id将buyer_favorite分发成三个文件，并按buyer_id排序。

select * from buyer_favorite cluster by buyer_id;

在这里插入图片描述

总结

Order by 与Sort by 对比
Order by的查询结果是全部数据全局排序，它的Reduce数只有一个，Reduce任务繁重，因此数据量大的情况下将会消耗很长时间去执行，而且可能不会出结果，因此必须指定输出条数。
Sort by是在每个Reduce端做排序，它的Reduce数可以有多个，它保证了每个Reduce出来的数据是有序的，但多个Reduce出来的数据合在一起未必是有序的，因此在Sort by做完局部排序后，还要再做一次全局排序，相当于先在小组内排序，然后只要将各小组排序即可，在数据量大的情况下，可以提升不少的效率。

Distribute by 与Group by 对比
Distribute by是通过设置的条件在Map端拆分数据给Reduce端的，按照指定的字段对数据划分到不同的输出Reduce文件中。
Group by它的作用是通过一定的规则将一个数据集划分成若干个小的区域，然后针对若干个小区域进行数据处理，例如某电商想统计一年内商品销售情况，可以使用Group by将一年的数据按月划分，然后统计出每个月热销商品的前十名。

i阿极
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
impala基本语法.pdf
12-16
里面详细介绍了imapla的所有语法（hive通用），分为DDL部分（创建，删除，添加列，删除列，添加分区，删除分区，刷新表，复制表等），DML部分（插入，分组，排序，多表链接join，with as，union等）以及各种类型函数（逻辑运算符，数学运算符，日期函数，条件函数，字符串函数，窗口函数等）
hadoop详细视频教程
07-15
100节课详细讲解，需要的小伙伴自行百度网盘下载，链接见附件，永久有效。 01_hadoop_hdfs1分布式文件系统01 02_hadoop_hdfs1分布式文件系统02 03_hadoop_hdfs1分布式文件系统03 04_hadoop_hdfs1分布式文件系统04 05_hadoop_hdfs1分布式文件系统05 06_hadoop_hdfs1分布式文件系统06 07_hadoop_hdfs1分布式文件系统07 08_hadoop_hdfs1分布式文件系统08_io 09_hadoop_hdfs1分布式文件系统09_io 10_hadoop_hdfs1分布式文件系统10 11_hadoop_hdfs1分布式文件系统11 12_hadoop_hdfs1分布式文件系统12 13_hadoop_hdfs1分布式文件系统13 14_mr分布式计算框架_理论1 15_mr分布式计算框架_理论2 16_mr分布式计算框架_理论3 17_mr分布式计算框架_理论4 18_mr分布式计算框架_理论5 19_mr分布式计算框架_理论6 20_mr分布式计算框架_install01 21_mr分布式计算框架_install02 22_mr分布式计算框架_wc01 23_mr分布式计算框架_wc02 24_mr分布式计算框架_wc03 25_mr分布式计算框架_wc04 26_mr_qq推荐好友01 27_mr_qq推荐好友02 28_mr_精准广告推送01 29_mr_精准广告推送02 30_mr_精准广告推送03 31_mr_精准广告推送04 32_hadoop2.x_介绍01 33_hadoop2.x_介绍02 34_hadoop2.x_ha介绍01 35_hadoop2.x_ha介绍02 36_hadoop2.x_ha介绍03 37_hadoop2.x_ha介绍04 38_hadoop_hadoop2.5.2的安装部署01 39_hadoop_hadoop2.5.2的安装部署02 40_hadoop_hadoop2.5.2的安装部署03 41_hadoop_hadoop2.5.2的安装部署04 42_hadoop_hadoop2.5.2的安装部署05 43_hadoop_hadoop2.5.2的安装部署06 44_hadoop2.x_温度排序，分区，分组，自定义封装类01 45_hadoop2.x_温度排序，分区，分组，自定义封装类02 46_hadoop2.x_温度排序，分区，分组，自定义封装类03 47_hadoop2.x_温度排序，分区，分组，自定义封装类04 48_hadoop2.x_温度排序，分区，分组，自定义封装类05 49_hadoop2.x_温度排序，分区，分组，自定义封装类06 50_hadoop2.x_广告推送用户轨迹01 51_hadoop2.x_广告推送用户轨迹02 52_hadoop2.x_广告推送用户轨迹03 53_hadoop2.x_广告推送用户轨迹04 54_hadoop2.x_广告推送用户轨迹05 55_hadoop2.x_广告推送用户轨迹06 56_hive_介绍和安装01 57_hive_介绍和安装02 58_hive_介绍和安装03 59_hive_介绍和安装04 60_hive_ddl数据定义语言01 61_hive_ddl数据定义语言02 62_hive_ddl数据定义语言03 63_hive_ddl数据定义语言04 64_hive_dml数据操作语言_select01 65_hive_dml数据操作语言_select02 66_hive_dml数据操作语言_select03 67_hive_dml数据操作语言_select04 68_hive_server2服务器01 69_hive_server2服务器02 70_hive_server2服务器03 71_hive_server2服务器04 72_hadoop_轨迹分析01 73_hadoop_轨迹分析02 74_hadoop_轨迹分析03 75_hadoop_轨迹分析04 76mr分布式计算框架_理论01 77mr分布式计算框架_理论02 78_hbase_介绍01 79_hbase_介绍02 80_hbase_介绍03 81_hbase_介绍04 82_hbase_介绍05 83_hbase_介绍06 84_hbase_介绍07 85_hbase_介绍08 86_hbase_介绍09 87_hbase_介绍10 88_hbase_完全分布式01 89_hbase_完全分布式02 90_hbase_代码01 91_hbase_代码02 92_hbase_代码03 93_hbase_代码04 等等
Hive SQL必刷练习题：排列组合问题【通过join不等式】
最新发布
Mikkkee的博客
03-23 627
方法1：可以直接通过join，最后on是一个不等式【排列组合问题的解决方式】– 先通过高级聚合函数 开窗 将当前行的值到最后一行的队伍名封装到一个集合中。– 然后将集合再炸裂开 并将两个队伍名字相同的行过滤掉即可得出想要的结果。​ 也还有种思路，我就是想这样，不过没成功，就是通过炸裂函数+开窗。– 通过理解题意 明白了每个队伍只比一次其实就是一个数学的关联问题。– 所以就想到了使用开窗函数和高级聚合函数和炸裂函数。方法2：也可以是提前多加一列，加上一个序号。这种问题，就是数学的排列不等式，
hive 分组取TopN
07-10
hive不直接支持分组取TopN的操作，需要自定义udf函数打成jar包添加到hive运行环境中
Hive SQL大厂必考常用窗口函数及面试题.pdf
02-28
窗⼝函数也称为OLAP函数，OLAP 是OnLine Analytical Processing 的简称，意思是对数据库数据进⾏实时分析处理。例如，市场分析、创建财务报表、创建计划等⽇常性商务⼯作。窗⼝函数就是为了实现OLAP ⽽添加的标准SQL 功能。 聚合函数是将多条记录聚合为⼀条；窗⼝函数是每条记录都会执⾏，有⼏条记录执⾏完还是⼏条。窗⼝函数兼具GROUP BY ⼦句的分组功能以及ORDER BY ⼦句的排序功能。但是，PARTITION BY ⼦句并不具备 GROUP BY ⼦句的汇总功能。
wing324#helloworld_zh#Hive之各个分组排序关键字的区别1
07-25
二、Distribute by 五、Cluster by 六、如何使用sort by实现全局排序
HIVE基本查询操作（二）——第1关：Hive排序
大家一起入坑
10-27 3873
，好处是：执行了局部排序之后可以为接下去的全局排序提高不少的效率（其实就是做一次归并排序就可以做到全局排序了）。产生一个排序文件，他俩一般情况下会结合使用。（这个肯定是全局有序的，因为相同的。出来的数据是有序的，但是不能保证所有的数据是有序的，除非只有一个。端都会做排序，也就是说保证了局部有序（每个。查询中要限制查询输出条数， 可以用。指定的列只能是升序，不能指定。输出结果的分发,相同字段的。中所用的列相同，可以缩写为。日的哪三种股票买入量最多。开始你的任务吧，祝你成功！日买入量最高的三种股票。
hive的分组和组内排序
猥琐的刚的博客
08-24 2284
rank() 排序相同时会重复，总数不会变(会有间隙跳跃，数据不连续)dense_rank() 排序相同时会重复，总数会减少(不会有间隙，数据连续的)row_number() 会根据顺序计算，不会重复不会减少Row_number 函数常用的三种场景Top-N，计算连续，分组抽样。
hive中order by详解
热门推荐
AnameJL的博客
01-10 1万+
order by的使用及讲解 1. order by的使用 大家都清楚在hive中order by是用来排序的，使用语法如下 SELECT * FROM tab_name ORDER BY column_name; 在使用order by的时候默认是按照升序进行排序的(ASC)，字符串类型就是按照字典顺序进行排序的，数值类型就是按照数值的大小进行排序的具体列子如下： 表中数据： goods gtype price 口香糖 食品 10 薯片 食品 20 巧克力 食品 30 蛋糕
[Hive SQL] 实现分组排序、分组topN
24/7
07-01 1388
举个场景例子 我们要计算app内在每小时区间内访问量前2的服务 根据访问日志处理完后的数据集如下所示 visit_hour service_name visit_cnt 2021062401 A 421 2021062401 B 710 2021062401 C 235 2021062401 D 839 2021062402 A 63 2021062402 D 5452 2021062402 E 152 代码如下： select * from (select vi
Hive--查询
Mr_huang的博客
10-30 401
Hive–查询 前言： 官方文档：https://cwiki.apache.org/confluence/display/Hive/LanguageManual+Select 查询语句语法： [WITH CommonTableExpression (, CommonTableExpression)*] (Note: Only available starting with Hive 0.13...
大数据开发：hive sql 中的4个by排序方法
qq_41804037的博客
05-08 758
与数据库中 order by 的区别在于在hive.mapred.mode = strict 模式下必须指定 limit 否则执行会报错（在order by 状态下所有数据会到一台服务器进行reduce操作也即只有一个reduce，如果在数据量大的情况下会出现无法输出结果的情况，如果进行 limit n ，那只有 n * map number 条记录而已。但是排序只能是升序排序，不能像distribute by一样去指定排序的规则为ASC或者DESC，否则报错。(default value / 默认值)
Hive SQL语句的正确执行顺序
格子衫
07-28 3293
关于 sql 语句的执行顺序网上有很多资料，但是大多都没进行验证，并且很多都有点小错误，尤其是对于 select 和 group by 执行的先后顺序，有说 select 先执行，有说 group by 先执行，到底它俩谁先执行呢？ 今天我们通过 explain 来验证下 sql 的执行顺序。 在验证之前，先说结论，Hive 中 sql 语句的执行顺序如下： from .. where .. join .. on .. select .. group by .. select .. having ..
HiveQL常用查询语句——排序、分桶、分桶抽样子句记录
攻城狮Kevin
02-28 3040
由于hivesql中查询语句时，常用查询条件比较多，所以专门写一篇博文对HiveQL的查询语句进行总结，理清联系和区别。 目录 1. 排序子句 （1）单列全局排序order by （2）多列排序 （3）每个MapReduce内部排序（sort by） （4）分区排序（distribute by 字段1 sort by 字段2） （5）分区排序（cluster by） 2. 分桶查询...
Hive常用的几个关于分组排序的窗口函数
trayvontang的博客
01-09 1464
简介 本文会介绍几个hive中关于排序的非常有用的窗口函数，它们可以帮助处理TopN，前N%这类问题， 更酷炫的是，它们还支持分组、排序， 前几不是问题，我们order by也可以解决。但是分组之后的前几能够 帮助我们极大的简化工作量。 我们后面有一个测试程序可以生成数据，测试本文要介绍的函数，这个程序并不需要依赖安装hive与spark， 只需要导入后面pom文件中的依赖就可以了。 下面是本文用...
实验6Hive分组排序
Alicia_LX的博客
11-30 892
记2022上半年hive学习 1. Linux Ubuntu 20.04 2. JDK1.8 3. Hadoop3.1.0 4. MySQL8.0.28 5. Hive3.1.2
python中sorted简单的使用
xuyanwei5的博客
11-17 331
sorted sorted(iterable,key=函数,reverse=False) 功能:排序 参数: iterable(容器类型数据,range对象,迭代器) key 指定 自定义函数或 内置函数 reverse : 代表升序或者降序 , 默认是升序(从小到大排序) reverse=False 返回值: 排序后的结果 # 1.默认是从小到大排序 lst = [1,2,3,4,5,-90,-4,-1,100] res = sorted(lst) print(res) #
大数据从入门到实战 - Hive基本查询操作（二）
小啊呜的博客
01-14 6091
大数据从入门到实战 - Hive基本查询操作（二） 一、关于此次实践 1、实战简介 2、全部任务 二、实践详解 1、第1关：Hive排序 2、第2关：Hive数据类型和类型转换 3、第3关：Hive抽样查询 叮嘟！这里是小啊呜的学习课程资料整理。好记性不如烂笔头，今天也是努力进步的一天。一起加油进阶吧！
hive分组排序取第一条
06-01
可以使用Hive中的窗口函数来实现分组排序取第一条的操作。 例如，假设有一张表student，包含学生姓名、学号、成绩等信息。 首先按照成绩降序排序，然后再按照学号升序排序，取每个学生的第一条记录，可以使用如下语句： ``` SELECT name, id, score FROM ( SELECT name, id, score, ROW_NUMBER() OVER (PARTITION BY name ORDER BY score DESC, id ASC) AS row_num FROM student ) tmp WHERE row_num = 1; ``` 其中，ROW_NUMBER()函数是窗口函数，它会为每个分组内的记录生成一个行号，然后根据行号筛选出每个分组内的第一条记录。PARTITION BY子句指定分组的字段，ORDER BY子句指定排序的字段和顺序。 以上语句将返回每个学生的最高分记录，如果有多条最高分记录，则返回学号最小的那条记录。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

i阿极

你的鼓励是我创作最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值