scala fold系列函数及 sparkRDD fold 操作解析

最新推荐文章于 2023-06-08 10:53:57 发布
最新推荐文章于 2023-06-08 10:53:57 发布
阅读量7k 收藏
点赞数
分类专栏： scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/baiyangfu_love/article/details/42026109
版权

scala 的fold系列 函数用起来比较方便，这里对比总结一下。

fold

fold 的定义：

deffold[A1 >: A](z: A1)(op: (A1, A1) ⇒ A1): 
最低0.47元/天 解锁文章
baiyangfu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark中fold算子详解介绍
CSDN 精品推荐
08-17 186
上一节我们讲到使用 `aggregate` 函数来实现分区内和分区间进行聚合操作，不过对于 `aggregate` 可以实现分区内和分区间不同的聚合逻辑，但是有些时候我们的分区内和分区间聚合操作一致，那么就可以进行简化使用 `fold` 算子。
Spark RDD转换成其他数据结构
Glad_Xiao的博客
09-23 4601
在Spark推荐系统编程中，RDD转换成其他数据结构
scala基础篇四：（spark）容器操作（foreach、Map、flaMap、filter、reduce/Left/Right、fold）
qq_50868643的博客
03-27 1991
2、映射：就是把一个数据提出操作，不改变原有的数据，而是生成新的数据。 Map（一对一映射） flatMap（一对多映射）：一个容器被映射成多个，然后拍扁成一个返回 3、过滤：依据条件筛选符合条件的数据 Filter() 根据条件过滤 4、规约 Reduce()根据对容器里的元素进行两两运算 reduceLefet/reduceRight Fold：可以加入额外的数据进行...
spark的fold函数理解
QQ1131221088的博客
01-29 1418
首先我们从源码入手看看这个函数有什么 pyspark的fold函数的python源码如下： def fold(self, zeroValue, op): """ Aggregate the elements of each partition, and then the results for all the partitions, using a ...
Spark(21)-Scala遍历操作，map,flatMap,fliter,reduce,fold
最新发布
Matrix70的博客
06-08 1229
对lambda表达式含义的解释--->遍历到的元素赋值给s,然后让s去执行后续方法，这样就可以一个一个转换掉,此例中，会把值给s,然后执行.toUpperCase方法，然后再遍历，再执行下去.朗母达表达式，匿名函数case模式匹配，kv._1表示匹配的键，kv._2表示的匹配的值，这是元组的表达方式，这些遍历方法都可以去尝试。10 作为初始的s ,10 * 1，10 * 2， 20 * 3 ，60 * 4，240 *5。这些元素就构成了很大的集合，得到非常多的元素构成的整体的集合，就是我们所要的结果。
Spark算子fold的直观理解
qq_37895431的博客
01-05 374
可以这样理解，fold()函数是对rdd的数据分别求和，fold的中文意思为折叠，那么就是先将各个分区的数据折叠（求和），最后分区分别折叠完成后，再整体折叠一下，对应的总结一个公式就是《（分区数+1）×初始值+各元素数据的求和值》。以上几个rdd中的分区数分别为1、1、2、2，相应的fold()函数给出的初始值为0、1、0、1，用到的add是求和函数；分区数为20，初始值为3，各元素的和为1+2+3+4+5=15。通过公式理解就是《(20+1)×3+15》，结果为78。希望可以帮助大家理解！
scala-fold:可折叠
04-30
scala-fold Scala中的可折叠介绍该库定义了Foldl数据类型（左折），可以将其以应用样式进行组合，从而使所得的折痕只需要在给定结构上进行一次遍历。 图书馆有常见的折痕。 您始终可以通过提供阶跃函数和初始值来...
Scala基础(10) 函数式编程
01-20
例如，`map`、`filter` 和 `fold` 等函数都是常见的高阶函数，它们可以作用于集合，进行数据转换和聚合操作。 4. **尾递归优化**：Scala 支持尾递归优化，这意味着在函数的最后一步调用自身时，编译器会将其转化为...
scala-examples:函数式编程的代码示例
04-11
这个"scala-examples"项目提供了一系列的代码示例，旨在帮助开发者理解如何在实际中运用Scala的函数式编程概念。 首先，让我们深入了解一下Scala的核心概念。Scala的函数式编程允许我们以声明式的方式编写代码，而...
Spark学习--RDD编码
05-09
惰性求值：RDD的转化操作是惰性求值的，即在被调用行动操作之前Spark不会开始计算，相反，Spark会在内部记录下索要求执行的操作的相关信息。例如，当我们调用jsc.textFile()时，数据并没有读取进来，而是在必要时才...
Scala函数式编
06-23
Scala的`map`、`filter`、`fold`等函数都是高阶函数的例子，它们用于对集合进行操作，例如`map`可以对集合中的每个元素应用一个函数并返回新的集合。 柯里化 柯里化（Currying）是将接受多个参数的函数转换为一系列...
Spark算子 - fold()
u013071319的博客
05-28 1157
算子定义： def fold(zeroValue:T)(op: (T,T) ⇒T):T 官方文档: Aggregate the elements of each partition, and then the results for all the partitions, using a given associative function and a neutral "zero value". The function op(t1, t2) is allowed to modify t1 an...
Spark：aggregate()、fold()、reduce()方法
chandelierds的博客
08-14 547
这个链接：轻松理解 Spark 的 aggregate 方法，讲得非常清晰 aggregate 的参数列表为： 个人总结最重要的是理解zeroValue、seqOp和combOp。 zeroValue是初始值，作为seqop和combop的第一次运算的输入。seqOp和 combOp是两个函数，seqOp先执行，combOp后执行。 注意RDD有几个分片slice，seqop就要执行几次（分片是指将数据分为几份，比如数据1到10，分片数为3，那么各个分片为[1,2,3]，[4,5,6]，[7,8,9,10
Spark核心之aggregate和fold
LMR的博客
05-31 9318
在本文中介绍Spark中Action的两种算子，分别是aggregate和fold，其方法定义分别为： • aggregate[U](zeroValue: U)(seqOp: (U, T) => U, combOp: (U, U) => U)(implicit argO: ClassTag[U]): U • fold(zero Value: T)(op: (T, T) =...
Spark算子[11]：reduce、aggregate、fold 详解
行走的树
12-13 2808
以上三个方法操作都是对RDD进行的聚合操作。1、reduce()与fold()方法是对同种元素类型数据的RDD进行操作，即必须同构。其返回值返回一个同样类型的新元素。val nums = Array(1,2,3,4,5,6,7,8,9) val numsRdd = sc.parallelize(nums,3) val reduce = numsRdd.reduce((a,b) => a+b)2、fo
Scala中foldLeft的简单使用总结
热门推荐
Scala中foldLeft的简单使用总结
11-24 2万+
Scala中foldLeft的简单使用总结 由于工作需要，博主在写spark相关业务代码时用到foldLeft，经过一番搜寻发现很多文章对这个函数的讲解，于初学者来说不好理解，特此我来做个简单易懂的分析总结，供大家参考。 若发现理解上的偏差，还请多指教。 源码分析 def seq: TraversableOnce[A] 上面两段代码是scala.collection.TraversableOnc...
理解sparkRDD的fold()和aggregate()算子
u011376563的博客
01-12 2405
1、fold() 函数原型：fold(self, zeroValue, op) 示例：求序列[1,2,3,4,5]的元素累加和 >>> nums = sc.parallelize([1,2,3,4,5])       >>> sumCnt = nums.fold(0, lambda x, y: x + y) >>> print sumCnt 15 zeroValue意义：1、
Spark算子之fold()和aggregate()的解释
SOARING
05-08 849
RDD算子其他的都比较好理解，唯独fold和agg这俩稍微比较难理解一点，因为scala语言这个语法个人感觉有点异于其他语言。 先说说reduce()函数，他和fold()函数也就一个初始值的区别： val rdd=list1.parallelize（List(1,2,3,4)） rdd.reduce((x,y)=>x+y) 其实就是 1+2+3+4 返回10 ，x其实指代的就是返...
Spark RDD的fold算子
吟啸徐行
06-09 3504
fold算子签名：  def fold(zeroValue: T)(op: (T, T) => T): T ,算子其实就是先对rdd分区的每一个分区进行使用op函数，在调用op函数过程中将zeroValue参与计算，最后在对每一个分区的结果调用op函数，同理此处zeroValue再次参与计算！ 此处op函数为： val add = (x: Int, y: Int) => {
Scala高阶函数深度解析：抽象、柯里化与控制
在Scala编程语言中，高阶函数是一种高级特性，它将函数作为第一类对象进行处理，使得我们可以像操作其他数据类型（如数字、字符串）一样来操作函数。本文将深入探讨以下几个关键概念： 1. **作为值的函数**: 在...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值