HIVE sparkSQL sum()over()开窗函数的效率问题

最新推荐文章于 2024-07-15 20:30:34 发布
最新推荐文章于 2024-07-15 20:30:34 发布
阅读量1.9k 收藏 2
点赞数
分类专栏： 开发中的问题 文章标签： hive c语言 c++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LiaoQiang_big/article/details/120551420
版权

开窗函数大家都用过,其中sum()的开窗函数我们可以很好的用来求一些累加的值,我之前一直认为开窗函数的执行效率都差不多,然而有一次我使用sum开窗函数计算某个车辆每个时间累积行驶了多少距离,由于有定位数据,数据量比较大,300万左右,结果程序执行了超过一个小时都不出结果,然后我用排除法把sum换成row_number,结果秒出结果.我才发现sum的不同

LiaoQiang_big
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Hive函数及性能优化
qianchun22的博客
09-22 800
Hive函数及性能优化Hive函数分类二级目录三级目录 Hive函数分类 从输入输出角度分类 标准函数：一行数据中的一列或多列为输入，结果为单一值 聚合函数：多行的零列到多列为输入，结果为单一值 表生成函数：零个或多个输入，结果为多列或多行 从实现方式分类 1、内置函数 2、自定义函数 UDF：自定义标准函数 UDAF：自定义聚合函数 UDTF：自定义表生成函数 二级目录 三级目录 ...
oracle sum函数影响效率,sum()over() - ORACLE分析函数
weixin_32002829的博客
04-04 1036
sum()over() 所用数据：SELECT a.deptno, a.employename, a.salaryFROM t_salary a000001 李可 1000000001 李强 2000000001 杨彦军...
spark 累加历史 + 统计全部 + 行转列
Lu_Xiao_Yue的博客
11-11 1563
转载自https://www.cnblogs.com/piaolingzxh/p/5538783.html 感觉写的特别好，特别有用 spark 累加历史主要用到了窗口函数，而进行全部统计，则需要用到rollup函数 1 应用场景： 1、我们需要统计用户的总使用时长（累加历史） 2、前台展现页面需要对多个维度进行查询，如：产品、地区等等 3、需要展现的表格头如： 产品、2015-04、2015-...
浅谈hive中group by和开窗函数的partition by二者区别
最新发布
ffads的博客
07-15 428
对于group by和开窗函数的partition by，二者都将count函数的作用域成功限制在了组内，但区别在于：前者使得函数在每个组内只作用一次，最终每一组输出一条数据；而后者使得count函数在组内的每一行都作用一次，每次作用的范围是整个组，最终每一行都输出一条数据。最近在学习hive时，发现group by和开窗函数中的partition by都可以对表格进行分组（分区），并且可以限制函数的作用范围从全部区间变为组的内部。那如果我们使用开窗函数中的partition by进行分组，结果会怎样呢？
spark sql 窗口函数over partition by
weixin_30416497的博客
04-24 675
1、窗口函数需要使用hiveContext，故引入如下包 libraryDependencies += "org.apache.spark" %% "spark-core" % "1.4.1" % "provided" libraryDependencies += "org.apache.spark" % "spark-sql_2.10" % "1.4.1" % "provided" lib...
hive 优化
liupinyang的博客
07-19 308
hive 优化（干货） hive优化一般分为底层优化和sql优化 底层优化 hive 默认引擎为 MR ，涉及优化一般也为MR的优化，一般分为以下部分。 数据倾斜 set hive.groupby.skewindata=true; 小文件合并 是否合并Map输出文件：hive.merge.mapfiles=true（默认） 是否合并Reduce 端输出文件：hive.merge.mapredfiles=false（默认） 合并文件的大小：hive.merge.size.per.task=256100
HIVE常见的分析开窗函数
zzumarch的博客
01-15 248
withdanke_bi_tmp.f_bi_lsq_ana_testas( SELECTroom_codeasid ,sign_date,pricefrom 库名.表明 wherep_day =CURRENT_DATE+INTERVAL'-1'dayandcity_name ='成都市' ) /* following向下寻找 preceding 向上寻找 ...
hive开窗函数知识点总结.txt
05-24
工作中用到了几个hive开窗函数,便想把hive开窗函数系统梳理一遍。 开窗函数 普通的聚合函数聚合的行集是组,开窗函数聚合的行集是窗口。因此,普通的聚合函数每组(Group by)只返回一个值，而开窗函数则可为窗口中的每...
hive开窗函数详细介绍
03-28
本文将详细探讨Hive的开窗函数，包括ROW_NUMBER、RANK、DENSE_RANK以及分析窗口函数SUM、AVG、MIN和MAX的用法。 一、窗口函数 1. ROW_NUMBER() ROW_NUMBER()函数为每个分区内的记录分配一个唯一的连续编号，根据...
hive开窗函数.docx
08-24
Hive 开窗函数是数据分析和处理中的重要工具，它们允许用户在特定的数据集窗口内执行复杂的计算和分析，而不仅仅是对整个数据集进行全局操作。这些函数极大地增强了 Hive 查询的能力，使得用户能够处理更复杂的业务...
Hive开窗函数测试-cube，rollup
04-19
为了更好地理解这些概念，你可以参考提供的文档“Hive开窗函数测试.docx”。这个文档应该包含了具体的示例和代码，展示了如何在Hive SQL查询中使用窗口函数、cube和rollup。通过实践这些示例，你可以更深入地了解...
从Hive迁移到SparkSQL，有赞的大数据实践
02-24
本文介绍由SparkSQL替换Hive过程中碰到的问题以及处理经验和优化建议，包括以下方面的内容：有赞数据平台的整体架构。SparkSQL在有赞的技术演进。从Hive到SparkSQL的迁移之路。首先介绍一下有赞大数据平台总体架构：...
Hive Hive性能调优
u011517132的博客
03-26 377
最近慢慢把工作中涉及到的Hive知识和优化方法整理一下 在实际业务中，我们使用的Hive通常是基于map reduce计算方式的。通俗的来讲，map负责映射或筛选关系（比如where，±等操作），reduce负责整合或这说规约操作（如group by，join等）。 通常我们要评估我们所写的hql性能，需要先知道所写hql的执行过程和mapredcue过程。 此处引用一张网上的图片，很好的表示和m...
hive 的开窗函数sum() over() 函数
weixin_43548518的博客
01-30 6456
窗口分析函数 sum() over() :可以实现在窗口中进行逐行累加 测试数据: 这个是网上比较经典的案例了 2: jdbc:hive2://hadoop-03:10000> select * from t_access_amount; +----------------------+------------------------+-------------------------+-...
hive分析函数sum() over()的应用
程老师的博客
07-27 1574
问题： 求每个app下，一天内截止到当前时间点的累计访问量 分析： sum(pv) over(distribute by apptypeid sort by dateline asc) 根据app分组，时间点正序，得的就是截止到当前时间点的累加访问量，即累计访问量 案例： spark-sql> with test1 as > (select 100024 as apptypeid,'00:00' as dateline,10 as pv > union
hive 关于sum（） over（） 等相关窗口函数使用
yisun123456的博客
07-19 7112
 f1 f2  a 1000  b 800  c 788  d 500  e 100  f 100  g 50  h 10  i 10  . .  . .   数据已经 order by f2 desc  对于这个hive数据，如果要获取sum(f2从第一行。。。第n行)/sum(f2)<=80%的所有f1   select t.f1 from(select f1,sum(f2) o...
Hive性能优化（全面）
weixin_34342905的博客
02-05 1606
Hive性能优化（全面） 2018-02-02Hadoop大数据应用 1.介绍 首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？ 数据量大不是问题，数据倾斜是个问题。 jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。原因是map reduce作业初始化的时...
SparkSQL之函数的操作
tangshiweibbs的专栏
04-20 1038
package com.uplooking.bigdata.sql.p3 import com.uplooking.bigdata.utils.MySparkUtil import org.apache.spark.SparkConf import org.apache.spark.sql.{Column, SQLContext} /** * SparkSQL函数的操作 */ obje
Hive sql 中 over 总结
leveretz的博客
06-20 1938
原文地址：https://blog.csdn.net/qq_28289405/article/details/81326767
hivesql中的开窗函数
08-26
在HiveSQL中，开窗函数是一种特殊的函数，用于在查询结果中添加一个新的窗口函数值列。开窗函数可以分为排序开窗函数和聚合开窗函数两类。常用的排序开窗函数包括row_number()和rank()等。这些排序函数在over()子句中的order by语句只起到窗口内部排序的作用。开窗函数的基本用法包括设置窗口的方法，例如使用window_name、partition by和order by子句来指定窗口的大小和排序方式。另外，开窗函数还可以用于计算序号函数和分布函数。序号函数包括row_number()、rank()和dense_rank()等，用于计算每个行的序号。分布函数包括percent_rank()和cume_dist()等，用于计算某个值在整个结果集中的位置。此外，还有lag()和lead()函数用于获取前后指定行的值，以及first_value()和last_value()函数用于获取窗口内的第一个和最后一个值。在HiveSQL中，开窗函数可以与聚合函数结合使用，以便进行更复杂的计算和分析。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [hive sql常用开窗函数](https://blog.csdn.net/a822631129/article/details/124672228)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] - *2* *3* [hiveSQL开窗函数详解](https://blog.csdn.net/weixin_62759952/article/details/129269434)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值