HIVE sparkSQL sum()over()开窗函数的效率问题

最新推荐文章于 2024-04-26 17:46:45 发布
最新推荐文章于 2024-04-26 17:46:45 发布
阅读量1.8k 收藏 2
点赞数
分类专栏： 开发中的问题 文章标签： hive c语言 c++
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/LiaoQiang_big/article/details/120551420
版权

开窗函数大家都用过,其中sum()的开窗函数我们可以很好的用来求一些累加的值,我之前一直认为开窗函数的执行效率都差不多,然而有一次我使用sum开窗函数计算某个车辆每个时间累积行驶了多少距离,由于有定位数据,数据量比较大,300万左右,结果程序执行了超过一个小时都不出结果,然后我用排除法把sum换成row_number,结果秒出结果.我才发现sum的不同

LiaoQiang_big
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
hive开窗函数知识点总结.txt
05-24
工作中用到了几个hive开窗函数,便想把hive开窗函数系统梳理一遍。 开窗函数 普通的聚合函数聚合的行集是组,开窗函数聚合的行集是窗口。因此,普通的聚合函数每组(Group by)只返回一个值，而开窗函数则可为窗口中的每行都返回一个值。简单理解，就是对查询的结果多出一列，这一列可以是聚合值，也可以是排序值。 开窗函数一般分为两类,聚合开窗函数和排序开窗函数。
HIVE函数汇总-开窗函数篇
04-02
hive开窗函数
Spark sql之开窗函数
m0_46078458的博客
12-02 1252
开窗函数语法总结
3.sparksql:函数使用:实现累加和累乘
zhuchunyan_aijia的博客
05-17 1498
Hive分析窗口函数(一) SUM,AVG,MIN,MAX 用于实现分组内所有和连续累积的统计，实现累加和累乘 https://blog.csdn.net/abc200941410128/article/details/78408942 数据准备： CREATE EXTERNAL TABLE lxw1234 ( cookieid string, createtime string, --day pv INT ) ROW FORMAT DELIMITED FIELDS TE
19，sql 优化 ：开窗函数，row_number() over，sum() over() ，窗口函数大全
孙砚秋的博客
10-09 1817
一 ，常用 ： 排序，累加 1 ，分组取前三 ： 精华代码 ： select * from (select id,name,clazz,score, row_number() over(partition by clazz order by score desc) rank from person) res where res.rank <=3 结果 ： +---+...
spark 累加历史 + 统计全部 + 行转列
Lu_Xiao_Yue的博客
11-11 1509
转载自https://www.cnblogs.com/piaolingzxh/p/5538783.html 感觉写的特别好，特别有用 spark 累加历史主要用到了窗口函数，而进行全部统计，则需要用到rollup函数 1 应用场景： 1、我们需要统计用户的总使用时长（累加历史） 2、前台展现页面需要对多个维度进行查询，如：产品、地区等等 3、需要展现的表格头如： 产品、2015-04、2015-...
hive超大数据量排序
翻滚啊牛宝宝
10-08 1185
当使用hive或spark对超大数据量（几十亿）数据进行排序的时候，直接使用row_number函数会导致数据严重倾斜，都在一个reduce任务上执行，导致很难跑出来，一定要排序的还可以参考如下sql
hive 优化
liupinyang的博客
07-19 277
hive 优化（干货） hive优化一般分为底层优化和sql优化 底层优化 hive 默认引擎为 MR ，涉及优化一般也为MR的优化，一般分为以下部分。 数据倾斜 set hive.groupby.skewindata=true; 小文件合并 是否合并Map输出文件：hive.merge.mapfiles=true（默认） 是否合并Reduce 端输出文件：hive.merge.mapredfiles=false（默认） 合并文件的大小：hive.merge.size.per.task=256100
hive分析函数sum() over()的应用
程老师的博客
07-27 1499
问题： 求每个app下，一天内截止到当前时间点的累计访问量 分析： sum(pv) over(distribute by apptypeid sort by dateline asc) 根据app分组，时间点正序，得的就是截止到当前时间点的累加访问量，即累计访问量 案例： spark-sql> with test1 as > (select 100024 as apptypeid,'00:00' as dateline,10 as pv > union
hive 关于sum（） over（） 等相关窗口函数使用
yisun123456的博客
07-19 7090
 f1 f2  a 1000  b 800  c 788  d 500  e 100  f 100  g 50  h 10  i 10  . .  . .   数据已经 order by f2 desc  对于这个hive数据，如果要获取sum(f2从第一行。。。第n行)/sum(f2)&lt;=80%的所有f1   select t.f1 from(select f1,sum(f2) o...
Hive性能优化（全面）
weixin_34342905的博客
02-05 1590
Hive性能优化（全面） 2018-02-02Hadoop大数据应用 1.介绍 首先，我们来看看Hadoop的计算框架特性，在此特性下会衍生哪些问题？ 数据量大不是问题，数据倾斜是个问题。 jobs数比较多的作业运行效率相对比较低，比如即使有几百行的表，如果多次关联多次汇总，产生十几个jobs，耗时很长。原因是map reduce作业初始化的时...
hive开窗函数.docx
08-24
hive开窗函数
hive开窗函数详细介绍
03-28
hive开窗函数
从Hive迁移到SparkSQL，有赞的大数据实践
02-24
本文介绍由SparkSQL替换Hive过程中碰到的问题以及处理经验和优化建议，包括以下方面的内容：有赞数据平台的整体架构。SparkSQL在有赞的技术演进。从Hive到SparkSQL的迁移之路。首先介绍一下有赞大数据平台总体架构：...
hive启动beeline报错
最新发布
m0_75028327的博客
04-26 278
出现上面的问题执行以下代码。
【Hadoop】-Hive部署[12]
weixin_63106307的博客
04-23 1160
Hive ThriftServer方式（不可直接写SQL，需要外部客户端链接使用）： bin/hive --service hiveserver2。后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &后台启动：nohup bin/hive --service metastore >> logs/metastore.log 2>&1 &支持，Hive的配置已经完成，现在在启动Hive前，需要先初始化Hive所需的元数据库。
伪分布Hadoop下安装Hive
wanglingli95的博客
04-21 733
下载官网：MySQL :: Download MySQL Community Server (Archived Versions)https://downloads.mysql.com/archives/community/ （3）进入/usr/local/，使用rpm安装mysql解压后的其中5个包（按照以下顺序安装） （4）启动/关闭Mysql服务器 二、查看Mysql的原始密码并登录进入mysql （1）查看原始密码 （2）使用原始密码登录 （3）修改密码为Ad
Hadoop学习总结（Hive的远程服务、数据模型操作、数据操作）
2202_75688394的博客
04-20 913
学习Hive远程服务、数据模型操作、数据操作
C语言 | Leetcode C语言题解之第45题跳跃游戏II
m0_59237910的博客
04-23 364
C语言 | Leetcode C语言题解之第45题跳跃游戏II
hivesql中的开窗函数
08-26
在HiveSQL中，开窗函数是一种特殊的函数，用于在查询结果中添加一个新的窗口函数值列。开窗函数可以分为排序开窗函数和聚合开窗函数两类。常用的排序开窗函数包括row_number()和rank()等。这些排序函数在over()子句...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值