hive-row_number() 和 rank() 和 dense_rank()

已于 2024-04-30 17:20:11 修改
阅读量245 收藏
点赞数 2
文章标签： hive
于 2024-04-30 17:18:56 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/j476091245/article/details/138351975
版权

row_number() 是无脑排序

rank() 是相同的值排名相同，相同值之后的排名会继续加，是我们正常认知的排名，比如学生成绩。

dense_rank()也是相同的值排名相同，接下来的排名不会加。不会占据排名的坑位。

我是一个测试Q
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
Hive - ROW_NUMBER() OVER 排序&去重
BITDDD小栈
09-13 3977
一.引言 需求： 每日更新的全量数据表，根据用户去重获取7日内的最新的用户行为 二.ROW_NUMBER() OVER 实现 全量数据表 user_action ，根据 dt 分区，共包含三列 (user STRING, action STRING, dt STRING) 假设有过去一年共 365 个 dt 分区，取过去7天用户最新的行为并去重： SELECT tmp.user, tmp.action FROM ( SELECT user, action, ROW_NUMBER()
hive窗口函数之排名函数row_number、rank和dense_rank
热门推荐
jianai858的博客
07-05 1万+
排名函数 排名函数主要有row_number、rank和dense_rank。 简单排名 row_number是行号，不会重复，rank数据相同的，给出并列排名，但是会跳跃，dense_rank类似于rank，但不会跳跃，通过下面的案例来看一下区别。 准备数据 drop table if exists test.test_zw; CREATE TABLE if not exists test.test_zw( name string COMMENT '姓名', score double commen
hive中dense_rank&row_number&rank函数
AntKengElephant的博客
01-24 288
hive中三个排序函数rank、row_number、dense_rank日常中比较常用到，今天来说说三者的区别： 1、rank()函数 此排序方法进行排序时，相同的排序是一样的，而且下一个不同值是跳着排序的。 2、row_number()函数 此方法不管排名是否有相同的，都按照顺序1，2，3…..n 3、dense_rank()函数 此方法对于排名相同的名次一样，且后面名次不跳跃 ...
Hive 排名函数ROW_NUMBER、RANK()、DENSE_RANK等功能介绍、对比和举例
小湘西的博客
01-30 2774
例如，如果有 10 名学生，当前学生是按成绩排序后的第 3 名，那么前三名（包括当前学生）的学生数占总学生数的比例即为当前学生的累计分布百分比。如果两个学生的分数相同，他们将共享排名，例如都是排名1，下一个学生的排名将是3（假设只有两个学生分数相同）。说明：使用与 RANK() 相同的数据，DENSE_RANK() 函数也会为分数相同的学生分配相同的排名。第一名的学生百分比排名是 0，最后一名的百分比排名是 1，其他学生的百分比排名介于两者之间。在相同值的行之后的排名会跳过那些共享排名的行数。
Hive中分组取topN_row_number-rank和dense_rank的使用.pdf
04-07
hive中分组取topN、row_number、rank和dense_rank使用介绍
HIVE函数汇总-开窗函数篇
04-02
2. `DENSE_RANK()`：与 `ROW_NUMBER()` 类似，但相同值的行会得到相同的排名，不产生空缺的编号。 3. `RANK()`：如果有多行具有相同的值，它们会得到相同的排名，但后续的排名会有空缺。 了解和熟练掌握 Hive 的开...
hive_elasticsearch_sql面试_大数据面试文档.rar
11-27
6. **窗口函数**：ROW_NUMBER、RANK、DENSE_RANK等在复杂数据分析中的作用。 7. **性能优化**：索引、查询优化、避免全表扫描等技巧。 **Elasticsearch** Elasticsearch是一款基于Lucene的开源全文搜索引擎，提供...
HIVE实战项目-Youtube视频网站常规指各项标
11-24
- 可能需要使用窗口函数（如ROW_NUMBER()、RANK()或DENSE_RANK()）来计算排名。 6. **数据导出**： - 结果可能需要导出到关系数据库（如MySQL），以便其他系统使用。这可以通过Sqoop工具实现，将Hive表的数据导入...
hive开窗函数详细介绍
03-28
本文将详细探讨Hive的开窗函数，包括ROW_NUMBER、RANK、DENSE_RANK以及分析窗口函数SUM、AVG、MIN和MAX的用法。 一、窗口函数 1. ROW_NUMBER() ROW_NUMBER()函数为每个分区内的记录分配一个唯一的连续编号，根据...
【Druid 未授权访问漏洞】解决办法
苏叶新城
07-13 197
【代码】【Druid 未授权访问漏洞】解决办法。
【找不到视图问题解决】@RestController 与 @Controller注解的使用区别
wzc200406的博客
07-12 1032
@RestController 与 @Controller注解的使用区别
数仓工具—Hive语法之数组函数用法和示例
07-16 1545
之后，您可以使用数组操作函数来操作数组类型。数组函数将自然语言文本的字符串分割成单词和句子，每个句子在适当的句子边界处断开，并作为单词数组返回。函数根据数组元素的自然排序对输入数组进行升序排序并返回。例如，考虑以下示例对数组字符串进行排序并返回排序后的数组。例如，以下示例仅从键值对 map 类型中返回键。例如，以下示例仅从键值对 map 类型中返回值。例如，考虑以下示例，根据逗号分隔符分割字符串。函数在 map 类型上工作并返回键值数组。例如，考虑以下示例，根据整数值创建数组。
数仓工具—Hive基础之临时表及示例
07-14 2690
临时表是应用程序自动管理在大型或复杂查询执行期间生成的中间数据的一种便捷方式。Hive 0.14 及更高版本支持临时表。可以在用户会话中像使用普通表一样多次使用它们。在本文中，我们将介绍，以及如何创建和使用限制的示例。是限于用户会话的。您可以在用户会话中多次重复使用临时表。Hive 在创建它们的 Hive 会话结束时自动删除所有临时表。临时表中的数据存储在用户的临时目录而不是 Hive 仓库目录中。通常，位置将是。
hivehook 表血缘与字段血缘的解析
szw的博客
07-12 351
HIVE源码学习-hivehook尝试表血缘与字段血缘的解析。编译后生成jar文件添加到hive运行环境，设置hook。
数据建设实践之大数据平台(五)安装hive
知行合一
07-11 280
安装hive
数仓工具—Hive语法之事务表更新Transactional Table Update
07-16 1530
在本文中，我们将讨论如何在 Hive 事务性表上使用更新连接。您可以使用 merge 语句作为 Hive 更新连接的替代方案。您也可以在不设置 ACID 属性的情况下更新 Hive 表。Apache Hive 支持涉及您正在更新的单张表的简单更新语句。您可以在 SET 子句中仅使用静态值使用 Hive 更新语句。例如，考虑以下使用两张表的更新语句。这类语句称为更新连接条件。例如，考虑以下示例，使用 MERGE 语句作为使用连接条件更新表的替代查询。实际上，更新语句要复杂得多，涉及两张或更多表。
Hadoop中HDFS、Hive 和 HBase三者之间的关系
最新发布
qq_36634055的博客
07-16 205
Hive 类似于一个数据仓库，它建立在 HDFS 之上，提供了 SQL-like 的查询语言（HiveQL），让数据分析师和开发者可以用类似 SQL 的方式来查询和管理 HDFS 上的大数据。Hive 把复杂的 MapReduce 编程抽象掉了，让用户更专注于数据的业务逻辑，而不是底层的技术细节。： HBase 是一个基于 HDFS 的 NoSQL 数据库，它提供了实时读写和随机访问的能力。是 Hadoop 生态系统中三个重要的组件，它们各自解决了大数据存储和处理的不同层面的问题。
Hive sql rank dense_rank row_number
06-07
在 Hive SQL 中，可以使用窗口函数（Window Function）来实现类似于 rank、dense_rank 和 row_number 这样的排名函数。 1. RANK RANK 函数用于计算排名，返回每个分组中按照指定的列排序后的排名。如果有多条记录的排序值相同，则它们的排名也相同，并且下一个排名会跳过相应的记录数。例如： ```sql SELECT name, score, RANK() OVER (PARTITION BY subject ORDER BY score DESC) AS rank FROM mytable; ``` 2. DENSE_RANK DENSE_RANK 函数和 RANK 函数类似，但是它不会跳过相同排名的记录，而是按照相同排名的记录数进行计算排名。例如： ```sql SELECT name, score, DENSE_RANK() OVER (PARTITION BY subject ORDER BY score DESC) AS dense_rank FROM mytable; ``` 3. ROW_NUMBER ROW_NUMBER 函数用于为每条记录分配一个唯一的行号，不考虑分组和排序。例如： ```sql SELECT name, score, ROW_NUMBER() OVER () AS row_number FROM mytable; ``` 这些窗口函数可以根据需要进行组合使用，以实现更加复杂的排名需求。需要注意的是，窗口函数只能在 SELECT 子句和 ORDER BY 子句中使用，不能用于 WHERE 子句和 HAVING 子句中。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值