Hive窗口函数总结

原创 2017年01月03日 16:57:32

基础的:SUM,AVG,MIN,MAX
NTILE(n),用于将分组数据按照顺序切分成n片,返回当前切片值
ROW_NUMBER() –从1开始,按照顺序,生成分组内记录的序列
RANK() 生成数据项在分组中的排名,排名相等会在名次中留下空位
DENSE_RANK() 生成数据项在分组中的排名,排名相等会在名次中不会留下空位
CUME_DIST 小于等于当前值的行数/分组内总行数
PERCENT_RANK 分组内当前行的RANK值-1/分组内总行数-1
LAG(col,n,DEFAULT) 用于统计窗口内往上第n行值
与LAG相反
LEAD(col,n,DEFAULT) 用于统计窗口内往下第n行值
FIRST_VALUE 取分组内排序后,截止到当前行,第一个值
LAST_VALUE 取分组内排序后,截止到当前行,最后一个值
GROUPING SETS 在一个GROUP BY查询中,根据不同的维度组合进行聚合,等价于将不同维度的GROUP BY结果集进行UNION ALL
CUBE 根据GROUP BY的维度的所有组合进行聚合
ROLLUP 是CUBE的子集,以最左侧的维度为主,从该维度进行层级聚合

版权声明:本文为博主原创文章,未经博主允许不得转载。

hive之窗口函数理解与实践

快过年了,总算没那么忙了,可以完善一下这篇文章了。之前只能说是备忘罢了,很多细节没说清楚。 首先,我们要知道什么是窗口子句: 需要指定一个窗口的边界,语法是这样的: ROWS between...
  • wisgood
  • wisgood
  • 2015年07月27日 19:07
  • 2026

Hive常用函数大全(二)(窗口函数、分析函数、增强group)

关系运算## > < = ##注意: String 的比较要注意(常用的时间比较可以先 to_date 之后再比较) select long_time>short_time, long_time...
  • scgaliguodong123_
  • scgaliguodong123_
  • 2017年03月03日 11:13
  • 3328

Hive分析窗口函数系列文章

Hive中提供了越来越多的分析函数,用于完成负责的统计分析。抽时间将所有的分析窗口函数理一遍,将陆续发布。 今天先看几个基础的,SUM、AVG、MIN、MAX。 用于实现分组内所有和连续累积的统计。 ...
  • guohecang
  • guohecang
  • 2016年06月03日 22:52
  • 2550

hive之窗口函数理解与实践

rt_data表存放了当天每半小时的店铺销售数据 ------------------------------------------------------------ 1.统计截止到当前时间段的店...
  • xiepeifeng
  • xiepeifeng
  • 2015年01月13日 14:58
  • 19272

Hive 之 分析窗口函数

一 分析函数介绍 1.1分析函数定义 分析函数又被称为窗口函数。在联机分析(OLAP)的时候,传统是SQL可能需要进行多个自连接,从而导致查询新能很差。又或者有时候需要多维分析需要在不同层级进行聚...
  • zhanglh046
  • zhanglh046
  • 2016年11月10日 17:27
  • 694

Spark1.4.0-SparkSQL与Hive整合-支持窗口分析函数

关键字: Spark读取HBase、SparkSQL读取HBase、SparkSQL整合Hive读取HBase表、Spark任务本地化调度机制 这里的SparkSQL是指整合了Hive的spar...
  • jarth
  • jarth
  • 2016年09月29日 11:16
  • 605

hive 窗口函数 应用场景与实战详解

hive中的窗口函数,功能非常强大,使用也比较方便,可以给我们的查询提供相当多的遍历。下面就结合具体的需求与实例,一一为大家讲解窗口函数的使用方法。1.数据准备先在hive数据库中建一张表,表的结构如...
  • bitcarmanlee
  • bitcarmanlee
  • 2016年06月23日 18:40
  • 857

hive之窗口函数理解与实践

需要指定一个窗口的边界,语法是这样的: ROWS betweenCURRENT ROW | UNBOUNDED PRECEDING | [num] PRECEDING AND  UNBO...
  • xiaolang85
  • xiaolang85
  • 2016年08月15日 17:50
  • 371

HIVE 窗口及分析函数 应用场景

窗口函数应用场景: (1)用于分区排序 (2)动态Group By (3)Top N (4)累计计算 (5)层次查询   一、分析函数 用于等级、百分点...
  • xiaoqixiaodong
  • xiaoqixiaodong
  • 2015年04月17日 10:31
  • 280

Hive窗口函数

Hive是基于Hadoop的数据仓库解决方案,简单来说,Hive就是在Hadoop上架了一层SQL接口,可以将SQL翻译成MapReduce去Hadoop上执行,这样就使得数据开发和分析人员很方便地使...
  • DearyReina
  • DearyReina
  • 2016年08月24日 18:24
  • 32
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Hive窗口函数总结
举报原因:
原因补充:

(最多只允许输入30个字)