Hive学习之路 （十六）Hive分析窗口函数(四) LAG、LEAD、FIRST_VALUE和LAST_VALUE

最新推荐文章于 2024-10-14 16:20:38 发布
最新推荐文章于 2024-10-14 16:20:38 发布
阅读量1.1k 收藏 3
点赞数
分类专栏： hive 基础知识

目录

 

正文

回到顶部

数据准备

数据格式

cookie4.txt

复制代码

cookie1,2015-04-10 10:00:02,url2
cookie1,2015-04-10 10:00:00,url1
cookie1,2015-04-10 10:03:04,1url3
cookie1,2015-04-10 10:50:05,url6
cookie1,2015-04-10 11:00:00,url7
cookie1,2015-04-10 10:10:00,url4
cookie1,2015-04-10 10:50:01,url5
cookie2,2015-04-10 10:00:02,url22
cookie2,2015-04-10 10:00:00,url11
cookie2,2015-04-10 10:03:04,1url33
cookie2,2015-04-10 10:50:05,url66
cookie2,2015-04-10 11:00:00,url77
cookie2,2015-04-10 10:10:00,url44
cookie2,2015-04-10 10:50:01,url55

复制代码

创建表

复制代码

use cookie;
drop table if exists cookie4;
create table cookie4(cookieid string, createtime string, url string) 
row format delimited fields terminated by ',';
load data local inpath "/home/hadoop/cookie4.txt" into table cookie4;
select * from cookie4;

复制代码

 

回到顶部

玩一玩LAG

说明

LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值

第一个参数为列名，
第二个参数为往上第n行（可选，默认为1），
第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL）

查询语句

复制代码

select 
  cookieid, 
  createtime, 
  url, 
  row_number() over (partition by cookieid order by createtime) as rn, 
  LAG(createtime,1,'1970-01-01 00:00:00') over (partition by cookieid order by createtime) as last_1_time, 
  LAG(createtime,2) over (partition by cookieid order by createtime) as last_2_time 
from cookie.cookie4;

复制代码

查询结果

结果说明

复制代码

last_1_time: 指定了往上第1行的值，default为'1970-01-01 00:00:00'  
　　　　　　　　cookie1第一行，往上1行为NULL,因此取默认值 1970-01-01 00:00:00
　　　　　　　　cookie1第三行，往上1行值为第二行值，2015-04-10 10:00:02
　　　　　　　　cookie1第六行，往上1行值为第五行值，2015-04-10 10:50:01
last_2_time: 指定了往上第2行的值，为指定默认值
　　　　　　　　cookie1第一行，往上2行为NULL
　　　　　　　　cookie1第二行，往上2行为NULL
　　　　　　　　cookie1第四行，往上2行为第二行值，2015-04-10 10:00:02
　　　　　　　　cookie1第七行，往上2行为第五行值，2015-04-10 10:50:01

复制代码

 

回到顶部

玩一玩LEAD

说明

与LAG相反

LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行值

第一个参数为列名，
第二个参数为往下第n行（可选，默认为1），
第三个参数为默认值（当往下第n行为NULL时候，取默认值，如不指定，则为NULL）

查询语句

复制代码

select 
  cookieid, 
  createtime, 
  url, 
  row_number() over (partition by cookieid order by createtime) as rn, 
  LEAD(createtime,1,'1970-01-01 00:00:00') over (partition by cookieid order by createtime) as next_1_time, 
  LEAD(createtime,2) over (partition by cookieid order by createtime) as next_2_time 
from cookie.cookie4;

复制代码

查询结果

结果说明

--逻辑与LAG一样，只不过LAG是往上，LEAD是往下。

回到顶部

玩一玩FIRST_VALUE

说明

取分组内排序后，截止到当前行，第一个值

查询语句

复制代码

select 
  cookieid, 
  createtime, 
  url, 
  row_number() over (partition by cookieid order by createtime) as rn, 
  first_value(url) over (partition by cookieid order by createtime) as first1 
from cookie.cookie4;

复制代码

查询结果

回到顶部

玩一玩LAST_VALUE

说明

取分组内排序后，截止到当前行，最后一个值

查询语句

复制代码

select 
  cookieid, 
  createtime, 
  url, 
  row_number() over (partition by cookieid order by createtime) as rn, 
  last_value(url) over (partition by cookieid order by createtime) as last1 
from cookie.cookie4;

复制代码

查询结果

如果不指定ORDER BY，则默认按照记录在文件中的偏移量进行排序，会出现错误的结果

如果想要取分组内排序后最后一个值，则需要变通一下

查询语句

复制代码

select 
  cookieid, 
  createtime, 
  url, 
  row_number() over (partition by cookieid order by createtime) as rn,
  LAST_VALUE(url) over (partition by cookieid order by createtime) as last1,
  FIRST_VALUE(url) over (partition by cookieid order by createtime desc) as last2 
from cookie.cookie4 
order by cookieid,createtime;

复制代码

查询结果

 

提示：在使用分析函数的过程中，要特别注意ORDER BY子句，用的不恰当，统计出的结果就不是你所期望的。

mnasd
关注
专栏目录
Hive 窗口函数LEAD LAG FIRST_VALUE LAST_VALUE
SmartSi
02-22 8613
窗口函数（window functions）对多行进行操作，并为查询中的每一行返回一个值。 OVER()子句能将窗口函数与其他分析函数（analytical functions）和报告函数（reporting functions）区分开来。1. 常用窗口函数下表列出了一些窗口函数以及描述信息：窗口函数描述LAG()LAG()窗口函数返回分区中当前行之前行（可以指定第几行）的值。 如果没有行，则返回
Hive分析窗口函数row_number,LAG,LEAD,FIRST_VALUE,LAST_VALUE
someInNeed的博客
04-21 760
学习这四个分析函数。 注意： 这几个函数不支持WINDOW子句。Hive版本为 apache-hive-0.13.1数据准备： 水电费 cookie1,2015-04-10 10:00:02,url2 cookie1,2015-04-10 10:00:00,url1 cookie1,2015-04-10 10:03:04,1url3 cookie1,201...
hive窗口函数分组排序并取第一个值_（十二）Hive分析窗口函数(四) LAG、LEAD、FIRST_VALUE和LAST_VALUE...
weixin_39877581的博客
12-19 497
数据准备数据格式cookie4.txtcookie1,2015-04-10 10:00:02,url2cookie1,2015-04-10 10:00:00,url1cookie1,2015-04-10 10:03:04,1url3cookie1,2015-04-10 10:50:05,url6cookie1,2015-04-10 11:00:00,url7cookie1,2015-04-10 1...
hive窗口函数last_value的一个小坑
weixin_45455851的博客
04-10 2418
先说结论 last_value窗口函数默认窗口是从第一条到当前条。 问题描述 项目中没有使用过last_value窗口函数，最近第一次使用，发现和想象的不太一样。 一开始感觉 last_value(字段) over(partition by 分组字段 order by 排序字段) 直接可以取到分组字段里面的排序最后一个，结果并不是这样，瞬间懵逼，就去测试了下。 测试demo准备 --建表 create table if not exists test.test_last_value ( depart
Hive学习笔记（by尚硅谷）
最新发布
qq_42822177的博客
10-14 350
hive是由facebook开源，基于hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张表，并提供类SQL查询功能。hive是一个hadoop客户端，用于将hql（hive sql）转化成mapreduce程序。- hive中每张表的数据存储在hdfs- hive分析数据底层的实现是mapreduce（也可配置为spark或者tez）- 执行程序运行在yarn上1、创建数据库2、查询数据库注：like通配表达式，*表示任意个任意字符，|表示或的关系。3、查看数据库信息。
hive_取两次记录的时间差lead/lag/first_value/last_value函数使用 及用户在各个页面停留时间计算示例
Mr.pan felix的专栏
06-13 2151
这几个函数不支持WINDOW子句 1） LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行值 -- 第一个参数为列名，第二个参数为往下第n行（可选，默认为1），第三个参数为默认值（当往下第n行为NULL时候，取默认值，如不指定，则为NULL） 2）LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值 -- 第一个参数为列名，第二个参数为往上第n行（可选，默认为1），第三个参数为默认值（当往上第n行为NULL时候，取默认值，如不指定，则为NULL） 3）FIRST_V...
Hive分析函数之LAG、LEAD、FIRST_VALUE、LAST_VALUE学习
BabyFish13
11-13 2007
数据准备： 创建表： drop table if exists xxx_src_table; create table xxx_src_table (polno string, eff_date string, userno string ) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' stored as textfile;数据准备： [had
SQL LAST_VALUE使用问题记录
apollokk的专栏
04-07 9731
自SQL Server2012版本开始提供的分析函数LAST_VALUE，用于返回序列中最后一个值。参数：LAST_VALUE ( [scalar_expression ) OVER ( [ partition_by_clause ] order_by_clause rows_range_clause ) 在使用时发现取的值不是分组中最后一个的值，因为默认是取到分组（可选）第一项到当...
last_Value函数的使用（SQL SERVER 2012RC)
java开发指南博客 【转载】
12-29 560
时常， 我们想取回最值记录， 比如，最后日期什么的， 看一个例子， if OBJECT_ID('test','u') is not null drop table test go create table test( Id int, Name nvarchar(50), Date date, Amount int) go insert into test(Id,Name,Date,Amount...
窗口函数之LEAD,LAG, FIRST_VALUE, LAST_VALUE
蕾欧娜与26的博客
09-20 1241
这篇博客给大家介绍 Hive 中最常用的四个窗口函数，分别是：LEAD, LAG, FIRST_VALUE 以及 LAST_VALUE。 FIRST_VALUE：取分组内排序后，截止到当前行，第一个值。 LAST_VALUE：取分组内排序后，截止到当前行，最后一个值。 LEAD (col, n, default)：用于统计窗口内往下滴 n 行值。第一个参数为列名，第二个参数为往下滴 n 行（默认为 1 ），第三个参数为默认值（当往下第n行为NULL时候，取默认值，如不指定，则为NULL） LAG (col
Hive分析窗口函数: LAG、LEAD、FIRST_VALUE、LAST_VALUE
热门推荐
菜如张学清的博客
07-17 2万+
目录 1.数据准备 1.1数据格式 1.2创建表 2.LAG 2.1函数说明 2.2函数使用 2.3 查询结果 2.4 结果说明 3. LEAD 3.1 函数说明 3.2 函数使用 3.3 查询结果 4.FIRST_VALUE 4.1 函数说明 4.2 函数使用 5.LAST_VALUE 5.1 函数说明 5.2 函数使用 5.3 查询结果 5.4 取...
Hive分析窗口函数(四) LAG,LEAD,FIRST_VALUE,LAST_VALUE
阿尼古
04-16 599
问题导读1.LAG功能是什么？2.LEAD与LAG功能有什么相似的地方那个？3.FIRST_VALUE与LAST_VALUE分别完成什么功能？ 继续学习这四个分析函数（LAG,LEAD,FIRST_VALUE,LAST_VALUE）。注意： 这几个函数不支持WINDOW子句。 Hive版本为 apache-hive-0.13.1 数据准备： cookie1,2019-04-1...
Hive：内置函数
qq_43697577的博客
07-06 441
Hive内置函数 内置函数： 自定义函数： UDF : 用户自定义函数（重点） UDAF : 用户自定义聚合函数 UDTF : explode 帮助命令 show functions 查看hive中所有的内置函数 desc function func_name 查看具体的函数的使用方式 1. 数值函数 --1 round(x[,d]):将一个小数四舍五入(x为数字，d为取几位小数) hive (hive)> select round(3.55); OK 4.0 hive (hive)&g
Hive之窗口函数lag()/lead()
Allenzyg的博客
07-26 7494
例如查询2023-01-10这天的数据，也就是从2023-01-10这天往前数三天，看这三天的数据中amount是否连续增长，表中1001就不是，1002则符合。通过这两个函数可以在一次查询中取出同一字段的前N行的数据(lag)和后N行的数据(lead)作为独立的列,从而更方便地进行进行数据过滤，该操作可代替表的自联接，且效率更高。表示lag()与lead()操作的数据都在over()的范围内，里面可以使用以下子句。lead()函数与lag()函数相反，用于统计窗口内往下第n行值。2、比较相邻行的数据。
二维数组名在函数间传递_终于人品，跳动在网页间的精灵JavaScript
weixin_39987120的博客
11-20 150
你努力的样子很狼狈，但是还是要加油鸭。因为，你认真的样子真的很帅。经过之前两篇关于JavaScript的介绍，现在的你应该对于它不再陌生了。今天，我们继续，把剩下的内容做一个完整的总结。9、数组数组(array)是按次序排列的一组数据，每个值的位置都有编号(从 0 开始)，整个数组用方括号表示。Js中定义数组的三种方式如下(也可先声明再赋值)：var arr = []; // 创建一个空...
hive--如何保证concat_ws内部有序
qq_46893497的博客
02-07 4630
SELECT m.city_id city_code ,m.class_id ct_class_id ,regexp_replace(concat_ws(',',sort_array(collect_set(concat_ws(':',cast(row_id AS string),tea_emp_nos)))),'\\d+\:','') cla_teacher_emp_nos ,regexp_replace(concat_ws(',',sort_array(
hive函数汇总
Imflash的博客
09-03 724
1、Hive Shell参数 1、Hive命令行 hive [-hiveconf x=y]* [<-i filename>]* [<-f filename>|<-e query-string>] [-S] 说明： -i从文件初始化HQL。 -e从命令行执行指定的HQL -f 执行HQL脚本 -v 输出执行的HQL语句到控制台 -p <po...
Hive--开窗函数--窗口位置函数：LAG、LEAD、FIRST_VALUE、LAST_VALUE
qq_46893497的博客
11-22 1万+
窗口函数：LAG、LEAD、FIRST_VALUE、LAST_VALUE 总结 FIRST_VALUE 功能：取每个分区内某列的第一个值 语法：FIRST_VALUE(col) over (partition by col1 order by col2) LAST_VALUE 功能：取每个分区内某列的最后一个值 语法：LAST_VALUE(col) over (partition by col1 order by col2) 注意：默认窗口是从第一条到当前条 LAG 功能：取每个分区内某列的
impala分析函数，开窗函数
SunWuKong_Hadoop的博客
12-16 8826
impala和hive类似，也支持这些，下面只是一部分： 1.制表函数：与开窗函数同名,作用于一个分区或一组上的所有列，制表函数与开窗函数的关键不同之处在于OVER语句上缺少一个ORDERBY子句。 2.等级函数：dense_rank，rank，row_number 3.开窗函数：sum，count，avg，全累积，滚动累积， 4.lag，lead 函数 5.first_value，
Hive高级分析与优化技术详细解析
- 分析函数：如lead(), lag(), first_value(), last_value()等，用于获取窗口中前后记录的值。 这些高级分析函数使得用户能够在执行大数据分析时进行更复杂的操作，如时间序列分析、数据排名、滑动窗口计算等。 2...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值