【spark】二 reduceByKey、reduceByKeyLocally、groupByKey、combineByKey、aggregateByKey 区别 [待补充]

最新推荐文章于 2022-03-17 16:45:29 发布
最新推荐文章于 2022-03-17 16:45:29 发布
阅读量898 收藏
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u010720408/article/details/89358901
版权

DataFrame pyspark 只有groupByKey，容易在shuff中爆掉，改用RDD的reduceByKey、aggregateByKey相关算子

对类似实现sql的group by的相关算子进行区别分析

一：DataFrame.groupBy() 操作不会在partition中自己合并计算，会整个分组后进行shullf，

如下一个partition数据
groupBy()前：

key value
a 1
b 4
a 2
c 5
a 3

groupBy()后

key value
a 1
a 2
a 3
key value
b 4
key value
c 5

一起进行shuff网络传输，针对亿级数据，

最低0.47元/天 解锁文章
百物易用是苏生
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark 算子 reduce / reduceByKey / reduceByKeyLocally 区别
MISAYAONE的博客
06-15 499
https://www.pianshen.com/article/3338706075/ reduce fanhu
Spark常用算子reduceByKey与groupByKey的区别，哪一种更有优势？
星空下的那个人影
05-04 965
reduceByKey： 按照key进行聚合，在shuffle之前就有combine（预聚合）操作，返回结果是RDD[k,v]； groupByKey： 按照key进行分组，直接进行shuffle； 所以，在实际开发过程中，reduceByKey比groupByKey，更建议使用，但是需要注意是否会影响业务逻辑。 ...
Pandas中dataframe以及spark中rdd使用groupByKey进行合并
weixin_30564785的博客
11-13 255
18.11.15更新，因为代码用set的话集群跑不了，所以更改为一直用dataframe进行操作，发现Pandas和spark中对dataframe的操作不同，所以增加了pandas的group操作 　　最近进行关联规则算法的学习，使用的是tpch里的数据，取了customer和part两行数据如图 　　而关联规则算法要求的数据格式为{customer|part1，par...
Spark中得groupBy,reduceByKey和 combineByKey区别于各自用法 (5)
macanv的专栏
02-21 4769
Spark中得groupByKey,reduceByKey和 combineByKey区别于各自用法 这篇博文记录Spark中经常使用到的shuffle操作groupByKey,reduceByKey和 combineByKey，其中前面两个分别还有不带Key，可以在RDD的trans过程中自定义key的用法，在前面的计算TF-IDF文章中有使用到。 下面就一一的来介绍这三个API，使用词频统计的...
SPARK算子ReduceByKey和GroupByKey详解
汝知否
11-18 1077
Spark常用的键值对RDD转换操作 spark易混算子详解：reduceByKey和groupByKey reduceByKey： 方法原体：def reduceByKey(func: (V, V) ⇒ V): RDD[(K, V)] 功 能：使用func函数合并具有相同键的值 reduceByKey按照key相同的进行归类形如：<"spark",<1,1>> ； 归类后按照key对value-list进行求和 g...
Spark操作之aggregate、aggregateByKey详解
08-25
Spark操作之aggregate、aggregateByKey详解 Spark中的aggregate函数和aggregateByKey函数是两个重要的聚合操作，它们可以对RDD中的元素进行聚合操作，生成新的RDD或值。本文将详细介绍aggregate函数和...
基于Scala和Java的Spark Streaming二次封装开源框架设计源码
最新发布
04-08
Spark Streaming二次封装开源框架 - 基于Scala和Java构建，包含1157个文件，提供实时流任务调度、Kafka偏移量管理、Web后台管理、Web API控制等功能。该框架简化业务开发流程，让开发者专注于业务逻辑，无需担心底层...
SparkShuffle过程分析：Reduce阶段处理流程
02-25
Spark在Map阶段调度运行的ShuffleMapTask，最后会生成.data和.index文件，可以通过我的这篇文章SparkShuffle过程分析：Map阶段处理流程了解具体流程和详情。同时，在Executor上运行一个ShuffleMapTask，返回了一个...
取代而非补充，Spark Summit2014精彩回顾
02-21
Apache Spark开源生态系统在2014上半年大幅增长，已迅速成为大数据领域中最活跃的开源项目，HDFS位列第二，其代码变动次数（commits）和行数仅仅有Spark的一半：随着1.0版本于5月30日推出，Spark提供了一个稳定的...
ApacheSpark数据分析教程（二）：SparkSQL
02-26
本Spark序列教程的第一部分，已对Spark进行介绍，详细解释了用于在Spark集群中进行数据分片存储的弹性分布式数据集（RDDs）以及ApacheSpark的生态系统。本教程将给大家演示Spark及SparkSQL结合Cassandra的使用。...
groupByKey&reduceByKey
weixin_58132358的博客
11-03 272
1. groupByKey rdd.groupByKey().map(x=>(x._1,x._2.sum)).foreach(println) 2.reduceByKey rdd.reduceByKey(_ + _).foreach(println) 总结： ① 从shuffle的角度：reduceByKey和groupByKey都存在shuffle的操作，但是reduceByKey可以在shuffle前对分区内相同key的数据进行预聚合功能，这样会减少落盘的数据量，而gr..
Spark中groupByKey和reduceByKey的区别
wlk_328909605的博客
09-18 7004
重点比较reduceByKey和groupByKey: 相同点： 1,都作用于 RDD[K,V] 2，都是根据key来分组聚合 3， 默认，分区的数量都是不变的，但是都可以通过参数来指定分区数量 不同点： 1， groupByKey默认没有聚合函数，得到的返回值类型是RDD[ k,Iterable[V]] 2， reduceByKey 必须传聚合函数 得到的返回值类型 RDD[(K,聚合...
PySpark之Spark RDD中groupByKey和reduceByKey区别
feizuiku0116的博客
02-08 662
reduceByKey函数：在一个(K,V)的RDD上调用，返回一个(K,V)的RDD，使用指定的reduce函数，将相同key的值聚合到一起，reduce任务的个数可以通过第二个可选的参数来设置。- groupByKey函数：在一个(K,V)的RDD上调用，返回一个(K,V)的RDD，使用指定的函数，将相同key的值聚合到一起，与reduceByKey的区别是只生成一个sequence。 ...
Spark算子：RDD键值转换操作(3)–groupByKey、reduceByKey、reduceByKeyLocally
wisgood的专栏
09-26 1613
关键字：Spark算子、Spark RDD键值转换、groupByKey、reduceByKey、reduceByKeyLocally groupByKey def groupByKey(): RDD[(K, Iterable[V])] def groupByKey(numPartitions: Int): RDD[(K, Iterable[V])] def groupBy
Spark算子：transformation之键值转换groupByKey、reduceByKey、reduceByKeyLocally
csmnjk的专栏
09-21 233
1、groupByKey 1）def groupByKey(): RDD[(K, Iterable[V])] 2）def groupByKey(numPartitions: Int): RDD[(K, Iterable[V])] 3）def groupByKey(partitioner: Partitioner): RDD[(K, Iterable[V])] 该函数用于将RDD[K,V]中每个...
（转载）Spark算子：RDD键值转换操作(3)–groupBy、keyBy、groupByKey、reduceByKey、reduceByKeyLocally
moose_killer的博客
03-17 1172
groupBy groupBy(function) function返回key，传入的RDD的各个元素根据这个key进行分组 def main(args: Array[String]): Unit = { //默认分区12个 val sc = new SparkContext(new SparkConf().setMaster("local").setAppName("test").set("spark.default.parallelism", "12")) var rdd1 = sc.
1. spark源码学习分享：reduceByKey
那个番薯
12-03 5246
前置  （已经了解的看官可以跳过第0章） spark的rdd支持两种类型的操作，分别是transformation和action操作。简单来说，transformation操作就是通过现有的rdd作一些变换之后得到一个新的rdd（例如map操作）；action操作则是在rdd上作一些计算，然后将结果返回给drvier（例如reduce操作）。具体哪些操作属于transformation，哪些操作
Spark DataFrame 的 groupBy vs groupByKey
zzzzMing -大数据/数据分析/数据挖掘
11-04 7755
在使用 Spark SQL 的过程中，经常会用到 groupBy 这个函数进行一些统计工作。但是会发现除了 groupBy 外，还有一个 groupByKey（**注意RDD 也有一个 groupByKey，而这里的 groupByKey 是 DataFrame 的 **） 。这个 groupByKey 引起了我的好奇，那我们就到源码里面一探究竟吧。 所用 spark 版本：spark 2.1.0...
RDD无reduceByKey
danielchan2518的专栏
01-16 1184
用idea里的scala写spark 2.4.0方法时会提示找不到reduceByKey这个方法。 import org.apache.spark.SparkContext._ 把上面这一行加入后还是提示找不到reduceByKey，但这时不用管错误提示，继续编译打包是成功的...
spark reducebykey和groupbykey
03-16
spark中的reduceByKey和groupBykey都是用于对RDD中的键值对进行聚合操作的函数。 reduceByKey函数将具有相同键的值进行聚合，并返回一个新的RDD，其中每个键都对应一个聚合后的值。reduceByKey函数可以用于对RDD中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值