讨论Spark中RDD四种转换聚合算子的区别（源码角度）

最新推荐文章于 2024-07-30 14:37:58 发布
最新推荐文章于 2024-07-30 14:37:58 发布
阅读量257 收藏
点赞数
文章标签： java 大数据 spark python 数据结构
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ChrisLu777/article/details/113928038
版权

首先，让我们先思考一个问题：reduceByKey、foldByKey、aggregateByKey、combineByKey的区别？

解释： 1.reduceByKey: 相同key的第一个数据不进行任何计算，分区内和分区间计算规则相同

2.foldByKey: 相同key的第一个数据和初始值进行分区内计算，分区内和分区间计算规则相同

3.AggregateByKey：相同key的第一个数据和初始值进行分区内计算，分区内和分区间计算规则可以不相同

4.CombineByKey:当计算时，发现数据结构不满足要求时，可以让第一个数据转换结构。分区内和分区间计算规则不相同

为了更直白的进行解释，取出了部分源码，并做了直白的操作（删减了一些没有影响到的源码）

注意下面源码只是为了易懂进行了备注，实际情况需要实际了解—>>> 在这里插入图片描述在这里插入图片描述在这里插入图片描述在这里插入图片描述 根据上述简化的源码可以分析得到，其实这四种聚合算子底层的实现都是combineByKey,只是其中的参数发生了系统的变化，目的是为了实现多个计算场景

JaneRoad
关注
Spark聚合算子
m0_37556124的博客
10-28 1542
reduceByKey import org.apache.spark.rdd.RDD import org.apache.spark.{SparkConf, SparkContext} object ReduceByKeyDemo { def main(args: Array[String]): Unit = { val conf: SparkConf = new SparkConf().setAppName("ReduceByKeyDemo").setMaster("local[*]")
Spark核心编程(RDD转换算子)之聚合算子
Sarahdsy的博客
06-06 1076
文章目录RDD转换算子 之 聚合算子reduceByKey说明案例groupByKey说明案例aggregateByKey说明案例foldByKey说明案例combineByKey说明案例聚合算子小结有预聚合reduceByKeyaggregateByKeyfoldByKeycombineByKey无预聚合groupByKey RDD转换算子 之 聚合算子 聚合算子可以说是Spark计算里面的核心，所以搞懂底层的实现很有必要。 reduceByKey 说明 可以将数据按照相同的key对value进行聚合
Spark四种聚合算子的区别
hunter95671的博客
09-07 391
reduceByKey: 相同 key 的第一个数据不进行任何计算，分区内和分区间计算规则相同 foldByKey: 相同 key 的第一个数据和初始值进行分区内计算，分区内和分区间计算规则相同 aggregateByKey：相同 key 的第一个数据和初始值进行分区内计算，分区内和分区间计算规则可以不相同 combineByKey:当计算时，发现数据结构不满足要求时，可以让第一个数据转换结构。分区内和分区间计算规则不相同。 案例： def main(args: Array[String]): Unit =
14-reduceByKey、foldByKey、aggregateByKey、combineByKey区别
huaxing_ba的博客
06-22 225
reduceByKey、foldByKey、aggregateByKey、combineByKey区别
scala集合方法与RDD算子区别
探索数据奥秘的博客
10-09 394
1、Scala集合方法与RDD算子区别 RDD的方法和Scala集合对象的方法不一样 集合对象的方法都是在同一个节点的内存中完成的 RDD的方法可以将计算逻辑发送到Executor端（分布式节点）执行 为了区分不同的处理效果，所以将RDD的方法称之为算子 RDD的方法之外的操作都是在Driver端执行的，而方法内部的逻辑代码是在Excutor端执行的 2、RDD转换算子与行动算子 转换算子，是将RDD进行各种形式的变换，但不执行 行动算子，像是启动按钮，将之前一系列转换算子一并执行 ..
reduceByKey、foldByKey、aggregateByKey、combineByKey区别
mischen520的博客
07-07 731
ReduceByKey 没有初始值 分区内和分区间逻辑相同 foldByKey 有初始值 分区内和分区间逻辑相同 aggregateByKey 有初始值 分区内和分区间逻辑可以不同 combineByKey 初始值可以变化结构 分区内和分区间逻辑不同 ...
SparkRDD——转换算子
tyh1579152915的博客
05-19 2972
转换算子 一、单value型转换算子（只使用1个RDD）： 1、map 将数据进行转换，数据量不会增加和减少 2、mapPartitions 以分区为单位将一个分区内的数据进行批处理操作，且可以执行过滤操作 3、mapPartitionsWithIndex 功能类似mapPartiutions算子，只是加入了每个分区的索引，可以选择性的对某些分区进行操作 4、flatMap 扁平化操作，即将集合嵌套类型的数
Spark（4）RDD编程中的transformation算子和action算子使用与区别详解
weixin_43230682的博客
08-04 2263
前言 在上一篇文章中我们介绍了什么是RDD，以及RDD的属性、特征、依赖关系和缓存机制等等： Spark（3）架构原理、运行流程、RDD 那么，本文继续重点介绍一下RDD两类算子的使用。 一、编程模型 在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFil
尚硅谷大数据Spark之RDD转换算子学习笔记及面试题
qq_25127933的博客
09-28 755
1. Spark 算子从功能上可以分为以下两类: 1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。 RDD转换算子根据数据处理方式的不同将算子整体上分为Value类型、双Value类型和Key-Value类型 2）Action 行动算子：这类算子会触发 SparkContext 提交
Spark 常用算子详解（转换算子、行动算子、控制算子）
weixin_44735572的博客
10-22 6528
Spark简介 Spark是专为大规模数据处理而设计的快速通用的计算引擎； Spark拥有Hadoop MapReduce所具有的优点，但是运行速度却比MapReduce有很大的提升，特别是在数据挖掘、机器学习等需要迭代的领域可提升100x倍的速度： Spark是基于内存进行数据处理的，MapReduce是基于磁盘进行数据处理的； Spark中具有DAG有向无环图，DAG有向无环图在此过程中减少...
Spark数据聚合算子
最新发布
2401_84052244的博客
07-30 513
reduceByKey和aggregateByKey底层实现完全相同，都是combineByKeyWithClassTag，只不过reduceByKey调用 combineByKeyWithClassTag的入参mergeValue和mergeCombiners是相等的，aggregateByKey是用户指定可以不等的，也就是说 reduceByKey是一种特殊的aggregateByKey。
Spark的RDD中key-value类型RDD处理函数reduceByKey,aggregateByKey,foldBykey和combineByKey理解
weixin_44563670的博客
01-20 358
reduceByKey: 让相同的key进行分区内聚合，让相同key分区间聚合，这里涉及到了分区内预聚合，所以与groupByKey区别在于，groupByKey中shuffle过程数据量不会操作，shuffle落盘文件，相同操作reduceByKey的性能要优于groupByKey def reduceByKey(func: (V, V) => V): RDD[(K, V)] = self.withScope { reduceByKey(defaultPartitioner(self), f
spark-聚合算子aggregatebykey
weixin_30265103的博客
12-23 157
spark-聚合算子aggregatebykey Aggregate the values of each key, using given combine functions and a neutral "zero value". This function can return a different result type, U, than the type of the values i...
rdd分组聚合算子xxByKey,xxBy
鸭梨的博客
11-18 1059
定义 返回集合类为元组,元组的第一个元素为key,第二个元素为Iterable类型,这种类型可以转List什么的 def groupBy[K](f: T => K)(implicit kt: ClassTag[K]): RDD[(K, Iterable[T])] 例子 scala> val rdd1=sc.parallelize(List((1,"a"),(2,"b"),(1,"c"),(2,"d")),2) rdd1: org.apache.spark.rdd.RDD[(Int, Strin
Spark入门-聚合算子详解
汪巡的博客
09-10 2174
Overview Spark中常用的算子加起来有几十个，其中针对key的聚合算子有五个，分别是groupBy、groupByKey、reduceByKey、aggregateByKey和flodByKey，有几个底层其实调用的都是一个方法，只不过传入的参数不一样产生了这几个算子，但我仍打算分开来详解每个算子的计算过程，加深理解。 这几个聚合算子要解决的问题都是将所需操作的RDD中的key值相同的value值聚合在一起然后两两做计算也就是聚合最终得出一个结果，这里有三个点需要注意，一是两两聚合的初始值，是
Spark Key-Value 聚合类算子解析
qq_34117176的博客
04-01 2029
Spark Key-Value 聚合类算子解析 1. combineByKey() 算子 Spark 所有聚合算子都是在 combineByKeyWithClassTag 的基础上实现的，combineByKey 是Spark的一个最通用的聚合算子。 def combineByKey[C]( createCombiner: V => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C): RDD[(K, C
Spark RDD算子（2）聚合操作combineByKey，foldByKey
xiaoxionghanhan的博客
11-04 227
combinByKey def combineByKey[C](createCombiner: (V) => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C, partitioner: Partitioner, mapSideCombine: Boolean = true, serializer: Serializer = null): RDD[(K, C)] 该函数用于将RDD[K,V]转换成RDD[K,C]，这里的V类型和
Spark中常用的聚合算子说明及使用
星空的风fly
12-02 2401
spark常用聚合算子groupByKey、reduceByKey、aggregateByKey、foldByKey、combineByKey的基本使用及区别
Spark RDD API详解与核心操作
本资源整理了`RDD[T]`的主要操作，包括转换（Transformations）和动作（Actions），并结合`spark rdd.scala`和`ParRDDFunctions.scala`源码进行了详细解释，旨在帮助用户深入理解并有效利用Spark的RDD功能。...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值