Hive 【分组topk 有用的】

最新推荐文章于 2022-02-19 15:50:38 发布
最新推荐文章于 2022-02-19 15:50:38 发布
阅读量1k 收藏
点赞数
分类专栏： 大数据面试题
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 113 D0EEDE67-8385-4B53-BF41-15DA2FA3A8E6 21
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 57 56B935FC-94D0-41D4-A051-496A49026A0D 21
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 41 1DA4A6C8-EF5F-434D-92D6-3FBA43D2343E 21
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 39 EB8D6572-3C09-4499-AF6B-89D9B3A931FD 21
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 36 2C268DD6-E42F-4EF3-BFCC-82182179F5A6 21
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 35 815BAE93-BC70-4C20-B54E-85747A291238 21
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 33 D54215F1-0B9E-4618-AF47-C1C990FCE5DC 21
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 30 37A579BA-3617-4884-98C2-5E04CD58BC81 21
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 28 23307A25-8988-4BBD-B5C1-DA355F28F28E 21
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 23 370F8ACB-A24A-4F91-B1B8-ACE195FD2BB1 21


F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 123 2A44AAA9-D664-4FF8-9A44-9084A53F0C9A 22
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 48 812B2A41-A127-4644-B24B-7D1E9F8312DF 22
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 38 D85737B1-DF71-4567-BF27-C9F9AECF14A4 22
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 37 F4E484B5-8464-4468-A4B1-BBF740DD3D1E 22
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 31 88DC79E3-34AC-4D8F-8B01-2FA2D912FE4C 22
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 31 20D20442-7838-4355-B057-3EB8F39D983A 22
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 30 9F4D8E70-7300-4511-A64D-3C0A251E0643 22
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 24 B43B2614-E6A4-443B-9594-81E2E593CC88 22
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 22 F2FCA1A6-9E70-4A85-894E-4D88D7CA2352 22
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 20 971296C2-87F8-4AC4-AE58-6A883A48F2CA 22


F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 239 AD3A447D-572B-4874-A290-3D16DB678A85 8890
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 238 3A3971C9-6AB7-4BF6-8658-61AA566C5FEB 8890
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 238 5F7EB6AC-96E1-4D62-B883-38250913337A 8890
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 237 AD77A2FB-9C38-4C18-9708-B463CDC06415 8890
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 236 E21443D7-D7CF-440B-BE5D-CD3ECB43F159 8890
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 236 2D820B5E-604D-4280-A86F-A49734D6B44C 8890
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 236 0D606312-CB34-4D66-B049-260D6088B942 8890
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 235 8E061008-F993-4BA5-96BD-F48DD80C182B 8890
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 235 EA4D192A-4F00-461D-ADCC-0C761A8F0A51 8890
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 234 86BD457D-1C25-42DA-86DC-465CFBC310D6 8890




select appkey,history_start_days_num, idfa, channelid from (
    select *, row_number() over ( distribute by channelid sort by history_start_days_num desc) rownum from appuserprofile2 where appkey='F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9'  and  channelid in (21,22,8890)
) temp
where rownum <= 15;
 


F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 239 AD3A447D-572B-4874-A290-3D16DB678A85 8890
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 238 3A3971C9-6AB7-4BF6-8658-61AA566C5FEB 8890
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 238 5F7EB6AC-96E1-4D62-B883-38250913337A 8890
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 237 AD77A2FB-9C38-4C18-9708-B463CDC06415 8890
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 236 E21443D7-D7CF-440B-BE5D-CD3ECB43F159 8890
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 236 2D820B5E-604D-4280-A86F-A49734D6B44C 8890
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 236 0D606312-CB34-4D66-B049-260D6088B942 8890
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 235 8E061008-F993-4BA5-96BD-F48DD80C182B 8890
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 235 EA4D192A-4F00-461D-ADCC-0C761A8F0A51 8890
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 234 86BD457D-1C25-42DA-86DC-465CFBC310D6 8890
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 234 2D38D3CE-A143-405F-A08F-3ACF8906B9CC 8890


F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 233 1E629E8C-4581-4FB3-B880-2B52DB5D40E9 8890
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 233 5A4F466C-9938-40C5-9E42-E7630DB4F61D 8890
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 233 F4178578-5E4F-496B-A395-DA5BC7F9B8E3 8890
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 233 EE94C9CD-EE42-4796-A0EA-8AC93D3AF3A9 8890




F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 113 D0EEDE67-8385-4B53-BF41-15DA2FA3A8E6 21
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 57 56B935FC-94D0-41D4-A051-496A49026A0D 21
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 41 1DA4A6C8-EF5F-434D-92D6-3FBA43D2343E 21
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 39 EB8D6572-3C09-4499-AF6B-89D9B3A931FD 21
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 36 2C268DD6-E42F-4EF3-BFCC-82182179F5A6 21
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 35 815BAE93-BC70-4C20-B54E-85747A291238 21
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 33 D54215F1-0B9E-4618-AF47-C1C990FCE5DC 21
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 30 37A579BA-3617-4884-98C2-5E04CD58BC81 21
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 28 23307A25-8988-4BBD-B5C1-DA355F28F28E 21
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 23 370F8ACB-A24A-4F91-B1B8-ACE195FD2BB1 21
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 23 D2D25D0C-0BFC-4AD5-9050-6C6F95FE1691 21
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 22 9CBF95C1-9588-420F-8985-64844415B0A7 21
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 21 7D0BB2FF-6AF6-474E-B46E-70A84A6B4F82 21
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 21 A505D7CC-6080-46C9-8FEF-661C2A4A761E 21
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 18 A76F151E-C141-4463-8E27-EB3FC5182C08 21


F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 123 2A44AAA9-D664-4FF8-9A44-9084A53F0C9A 22
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 48 812B2A41-A127-4644-B24B-7D1E9F8312DF 22
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 38 D85737B1-DF71-4567-BF27-C9F9AECF14A4 22
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 37 F4E484B5-8464-4468-A4B1-BBF740DD3D1E 22
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 31 88DC79E3-34AC-4D8F-8B01-2FA2D912FE4C 22
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 31 20D20442-7838-4355-B057-3EB8F39D983A 22
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 30 9F4D8E70-7300-4511-A64D-3C0A251E0643 22
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 24 B43B2614-E6A4-443B-9594-81E2E593CC88 22
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 22 F2FCA1A6-9E70-4A85-894E-4D88D7CA2352 22
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 20 971296C2-87F8-4AC4-AE58-6A883A48F2CA 22
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 20 8FD02A23-0D3A-4BD1-A4B4-068815FBB952 22
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 19 9A0F72E0-4FC2-4F51-8BCB-C24FFA79B015 22
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 18 C9C8C6C4-A60E-4291-B9E0-BA3CE65124C0 22
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 18 71D67E1E-EA02-4D31-B0C9-498D93B700DF 22
F8EFCB6EFD5DFC35E8FEE5B59A7CFD65_9 13 4958BFA6-6A8D-4B10-923D-47922EF455CA 22
冥想者-定
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hive 分组取TopN
07-10
hive不直接支持分组取TopN的操作，需要自定义udf函数打成jar包添加到hive运行环境中
hive中分区取TOPN
litlit023的专栏
04-07 1524
目录 0. 概述 1. 准备数据和表结构 2. 几种不同分组取TOPN情况说明 2.1 分组-组内排序 2.2 分区-组内排序-取topN 2.3 不分组-只对某个字段排序 2.4 rank() over() 的使用 2.5 dense_rank()的使用 3. 参考资料 0. 概述 hive中分组取topN，有3中类型的函数可以用： row_number() over (partition by col01 order by col02 desc ) rank() over (p
hive中求top k的两种方式
bingyu0046的专栏
06-10 4513
一、用rank() over() select * from ( select event_id, event_name, channel, pv, uv, rank() over (partition by channel order by pv desc,uv desc) as rank from ( selec
Hive分组取Top K数据
weixin_30632089的博客
08-22 136
阿里交叉面试问到了这个题，当时感觉没有答好，主要是对Hive这块还是不熟悉，其实可以采用row_number()函数。 1、ROW_NUMBER，RANK()，DENSE_RANK() 语法格式：row_number() OVER (partition by COL1 order by COL2 desc ) rank partition by：类似hive的建表，分区的意思； o...
海量数据Top-k问题如何处理以及大数据查询如何优化
qq_39872456的博客
02-19 1979
1、海量数据的Top-K问题和大数据量的查询如何进行优化。
Hive分析函数row_number()
weixin_33691700的博客
05-25 179
2019独角兽企业重金招聘Python工程师标准>>> ...
Hive中分组取topN_row_number-rank和dense_rank的使用.pdf
04-07
hive中分组取topN、row_number、rank和dense_rank使用介绍
Hive 多行合并和分组limit输出 UDF工具包
11-17
用于多行合并和分组limit输出的udf工具包，已编译配置好，直接调用即可
Hive练习项目统计各种TOP的实战(数据和代码)
05-24
数据包括运行代码和数据类型，启动hive导入表和数据就可以运行结果
Hive使用手册Hive使用手册
05-14
1 Hive 概念与连接使用: 2 2 Hive支持的数据类型： 2 2.1原子数据类型： 2 2.2复杂数据类型： 2 2.3 Hive类型转换： 3 3 Hive创建/删除数据库 3 3.1创建数据库: 3 3.2 删除数据库: 3 4 Hive 表相关语句 3 4.1 Hive ...
Pig、Hive 解决分组 TopK 问题
luyee2010的专栏
02-25 1673
本文参考链接：http://my.oschina.net/leejun2005/blog/85187 他的有关hadoop/pig/hive/hbase的其他文章：http://my.oschina.net/leejun2005/blog?catalog=186187 问题： 有如下数据文件 city.txt （id， city， value） cat city.txt  1
Hive上检查查询出现条数最多的top k数据
FlappyCD的博客
12-12 2268
网上查了好多，不过感觉都不能直接拿来用。个人就直接对数据排序然后输出，top函数不知道怎么回事用不来，直接用limit限制输出个数来假装top了 select col from tb group by col order by count(*) desc limit k ...
Hive统计TopN问题
qq_34382453的博客
10-29 2840
这里模拟一个统计每个区域最受关注的top3的产品业务需求，并模拟生成3张表，分别为城市表city_info，产品表product_info，用户点击行为表user_click。所用的工具有HDFS，HIVE，SQOOP，MYSQL。
Hive_ Hive 中 TopN 的实现 -》 利用row_number() 函数实现分组TopN
迎难而上
03-05 2128
参考文章： 1.Hive row_number() 等用法 https://www.cnblogs.com/Allen-rg/p/9268627.html 2.Hive中分组取前N个值 https://www.cnblogs.com/1130136248wlxk/articles/5352145.html TopN 功能一直是一个热门的话题，下面我们看在...
Hive系列-巧用开窗函数解决分组Top-K问题
weixin_43272605的博客
05-26 606
最近遇到一个需求，要将数据分组，然后取每组最新的数据，刚开始各种join操作，都很繁杂，对于大数据量来说，实为不妥，计算总是超过了300多秒。于是干脆直接用了开窗 select t.field1,field2,field3,field4 from( select field1,field2,field3,field4,rank() over(partition by field1,field2 order by create_time desc) as ranks
海量数据处理的 Top K相关问题
全栈工程师开发手册（原创）https://github.com/tencentmusic/cube-studio
04-17 7900
Top-k的最小堆解决方法问题描述：有N(N&gt;&gt;10000)个整数,求出其中的前K个最大的数。（称作Top k或者Top 10）问题分析：由于(1)输入的大量数据；(2)只要前K个，对整个输入数据的保存和排序是相当的不可取的。可以利用数据结构的最小堆来处理该问题。最小堆如图所示，对于每个非叶子节点的数值，一定不大于孩子节点的数值。这样可用含有K个节点的最小堆来保存K个目前的最大值(当然根节点是其中的
堆的简单应用——TopK
blue丶的博客
05-14 3227
海量数据top k问题 100亿个数中找出最大的前K个数，我们可以遍历K次找到，但是时间复杂度就很大为 O(KN);因此，我们可以用堆来实现，只需遍历一次，思路如下： 如果要找前K个最大的数，我们用小堆，每次用堆顶元素和遍历的数比，如果堆顶元素小，则让堆顶元素的值等于它，然后向下调整 如果要找前K个最小的数，我们用大堆，每次用堆顶元素和遍历的数比，如果堆顶元素大，则让堆顶元素的值等于它，然后...
Pig、Hive、MapReduce 解决分组 Top K 问题
wisgood的专栏
12-09 5825
问题： 有如下数据文件 city.txt （id， city， value） cat city.txt  1 wh 500 2 bj 600 3 wh 100 4 sh 400 5 wh 200 6 bj 100 7 sh 200 8 bj 300 9 sh 900 需要按 city 分组聚合，然后从每组数据中取出前两条value最大的记录。 1、这是实际业务
Hive几个常见窗口函数分组控制
trayvontang的博客
01-09 978
简介 常规的窗口函数当然没有什么好说的，非常简单，这里介绍一下分组的，重点是分组、排序之后的rows between用法。 关键是理解rows between中关键字含义： 关键字 含义 preceding 往前 following 往后 current row 当前行 unbounded 开始行 unbounded preceding 表示从前面的起点 unb...
hive分组排序取第一条
最新发布
06-01
可以使用Hive中的窗口函数来实现分组排序取第一条的操作。 例如，假设有一张表student，包含学生姓名、学号、成绩等信息。 首先按照成绩降序排序，然后再按照学号升序排序，取每个学生的第一条记录，可以使用如下...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值