scala fold系列函数及 sparkRDD fold 操作解析

最新推荐文章于 2023-08-01 17:10:52 发布
最新推荐文章于 2023-08-01 17:10:52 发布
阅读量7.1k 收藏
点赞数
分类专栏： scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baiyangfu_love/article/details/42026109
版权
本文介绍了Scala中的fold、foldLeft和foldRight函数，重点解析了它们的定义和使用方式。其中，fold函数的操作顺序不确定，适用于并发计算；foldLeft从左到右应用操作，而foldRight则是先反转再应用foldLeft。在分布式计算框架如Spark中，由于fold需要数据有序，而reduce不要求，因此Spark提供了reduce但未提供fold。
摘要由CSDN通过智能技术生成

scala 的fold系列 函数用起来比较方便，这里对比总结一下。

fold

fold 的定义：

deffold[A1 >: A](z: A1)(op: (A1, A1) ⇒ A1): 
最低0.47元/天 解锁文章
baiyangfu
关注
专栏目录
Spark中fold算子详解介绍
CSDN 精品推荐
08-17 221
上一节我们讲到使用 `aggregate` 函数来实现分区内和分区间进行聚合操作，不过对于 `aggregate` 可以实现分区内和分区间不同的聚合逻辑，但是有些时候我们的分区内和分区间聚合操作一致，那么就可以进行简化使用 `fold` 算子。
Spark算子：RDD行动Action操作–aggregate、fold、lookup；reduce/fold/aggregate区别
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
12-25 351
关键字：Spark算子、Spark函数、Spark RDD行动Action、aggregate、fold、lookup aggregate def aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit arg0: ClassTag[U]): U aggregate用户聚合RDD中的元素，先使用seqOp将RDD中每个分区中的T类型元素聚合成U类型，再使用combOp将之前每个分区聚合后的U类型聚合成U类型，
spark的fold函数理解
QQ1131221088的博客
01-29 1441
首先我们从源码入手看看这个函数有什么 pyspark的fold函数的python源码如下： def fold(self, zeroValue, op): """ Aggregate the elements of each partition, and then the results for all the partitions, using a ...
Spark算子 - fold()
u013071319的博客
05-28 1190
算子定义： def fold(zeroValue:T)(op: (T,T) ⇒T):T 官方文档: Aggregate the elements of each partition, and then the results for all the partitions, using a given associative function and a neutral "zero value". The function op(t1, t2) is allowed to modify t1 an...
Spark编程之基本的RDD算子之fold,foldByKey，treeAggregate, treeReduce
stevekangpei的博客
07-21 687
Spark编程之基本的RDD算子之fold,foldByKey，treeAggregate, treeReduce 1) fold def fold(zeroValue: T)(op: (T, T) => T): T这个api算子接收一个初始值，fold算子传入一个函数，合并两个同类型的值，同时返回一个相同类型的值这个算子在每个分区对值进行合并。在每个分区合并时以一个zeroValue作为在每个在每
RDD行动Action操作(3)–aggregate、fold、lookup
cloud-2014的专栏
09-14 343
aggregate def aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit arg0: ClassTag[U]): U aggregate用户聚合RDD中的元素，先使用seqOp将RDD中每个分区中的T类型元素聚合成U类型，再使用combOp将之前每个分区聚合后的U类型聚合成U类型，特
scala中的fold函数
weixin_34336526的博客
08-21 1805
2019独角兽企业重金招聘Python工程师标准>>> ...
Spark RDD简介与操作
最新发布
weixin_62121679的博客
08-01 497
在Spark中，RDD可以看作是一个对象，它本身运行于内存中，如读文件是一个RDD，对文件计算是一个RDD，结果集也是一个RDD。在Spark中，RDD可以看作是一个对象，它本身运行于内存中，可以用于读文件、对文件计算、结果集等操作。在Spark中，RDD是一个并行集合，它包含多个分片，每个分片可以在不同的计算节点上并行处理。然后，我们对RDD进行转换和计算操作，并输出结果。在Scala中，Spark的RDD API提供了许多转换操作（transformations），用于对RDD进行转换和计算。
java spark map函数_Scala系列8：函数式编程之map，flatten,flatmap的使用详解
weixin_31613447的博客
03-04 933
0.Scala函数式编程我们将来使用Spark/Flink的大量业务代码都会使用到函数式编程。下面这些事开发中常用的函数式编程。注意这些函数都是操作 Scala 集合的，一般会进行两类操作：转换操作(transformation )和行动操作(actions)(有些人喜欢叫他为聚合操作)。第一种操作类型将集合转换为另一个集合，第二种操作类型返回某些类型的值。遍历( foreach )映射( map...
Spark算子：RDD行动Action操作(3)–aggregate、fold、lookup
羽翼天宇
08-01 406
Spark算子：RDD行动Action操作(3)–aggregate、fold、lookup   关键字：Spark算子、Spark函数、Spark RDD行动Action、aggregate、fold、lookup aggregate def aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit...
spark aggregate函数
weixin_30709635的博客
09-08 140
aggregate函数将每个分区里面的元素进行聚合，然后用combine函数将每个分区的结果和初始值(zeroValue)进行combine操作。这个函数最终返回的类型不需要和RDD中元素类型一致。 def aggregate[U: ClassTag](zeroValue: U)(seqOp: (U, T) => U, combOp: (U, U) => U): U 注意： ...
Spark RDD算子(九) 基本的行动算子操作
timicai的博客
11-11 181
目录一、first二、take三、collect四、 count五、countByValue六、 reduce七、aggregate八、fold九、top 一、first 返回第一个元素 scala val rdd=sc.makeRDD(List(1,2,3)) rdd.first() // 1 java JavaRDD<Integer> rdd = sc.parallelize(Arrays.asList(1,2,3)); Integer num = rdd.first; // 1
Spark行动算子(Action)--fold算子
寒暄的博客
08-04 328
语法 Rdd.fold(num)(func) num为初始值 func为元素与初始值进行的操作 源码 def fold(zeroValue : T)(op : scala.Function2[T, T, T]) : T = { /* compiled code */ } 作用 aggregate的简化操作，seqop和combop使用同一函数。 例子 package com.day1 import org.apache.spark.rdd.RDD import org.apache.spark.{Spa
Spark行为算子中的aggregate()|fold()|countByKey()统计每种key的个数|save相关算子
SmallScorpion
04-18 425
aggregate() 代码实现 fold() 代码实现 countByKey()统计每种key的个数 1）函数签名：def countByKey(): Map[K, Long] 2）功能说明：统计每种key的个数 代码实现 save相关算子 1）saveAsTextFile(path)保存成Text文件 （1）函数签名 （2）功能说明：将数据集的元素以textfile的形式保存...
Spark学习06——键值对RDD行动算子
shengpli′s blog
09-19 161
所有键值对RDD行动算子如下： collectAsMap、countByKey、fold、lookup、saveAsSequenceFile 当然键值对RDD可以使用所有RDD行动算子，介绍详见：https://blog.csdn.net/qq_23146763/article/details/101013861 具体解释和例子 1. collectAsMap 将结果以映射表的形式返回，以便查询 ...
Spark RDD的fold算子
吟啸徐行
06-09 3524
fold算子签名：  def fold(zeroValue: T)(op: (T, T) => T): T ,算子其实就是先对rdd分区的每一个分区进行使用op函数，在调用op函数过程中将zeroValue参与计算，最后在对每一个分区的结果调用op函数，同理此处zeroValue再次参与计算！ 此处op函数为： val add = (x: Int, y: Int) => {
scala基础篇四：（spark）容器操作（foreach、Map、flaMap、filter、reduce/Left/Right、fold）
qq_50868643的博客
03-27 2024
2、映射：就是把一个数据提出操作，不改变原有的数据，而是生成新的数据。 Map（一对一映射） flatMap（一对多映射）：一个容器被映射成多个，然后拍扁成一个返回 3、过滤：依据条件筛选符合条件的数据 Filter() 根据条件过滤 4、规约 Reduce()根据对容器里的元素进行两两运算 reduceLefet/reduceRight Fold：可以加入额外的数据进行...
Spark算子fold的直观理解
qq_37895431的博客
01-05 406
可以这样理解，fold()函数是对rdd的数据分别求和，fold的中文意思为折叠，那么就是先将各个分区的数据折叠（求和），最后分区分别折叠完成后，再整体折叠一下，对应的总结一个公式就是《（分区数+1）×初始值+各元素数据的求和值》。以上几个rdd中的分区数分别为1、1、2、2，相应的fold()函数给出的初始值为0、1、0、1，用到的add是求和函数；分区数为20，初始值为3，各元素的和为1+2+3+4+5=15。通过公式理解就是《(20+1)×3+15》，结果为78。希望可以帮助大家理解！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值