为什么把Spark RDD中的方法称之为算子？和Scala中的方法有什么不同？

最新推荐文章于 2022-09-21 10:53:33 发布
最新推荐文章于 2022-09-21 10:53:33 发布
阅读量461 收藏 2
点赞数 1
分类专栏： spark Scala 文章标签： spark scala
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43101402/article/details/116065748
版权

算子和方法

算子也就是Operator（操作）
不同的称呼是为了区分RDD的方法和Scala集合对象的方法

  • Scala集合对象的方法都是在同一个节点的内存中完成的
  • RDD的方法可以将计算逻辑发送到Executor端（分布式节点）执行

RDD的方法 外部操作都是在Driver端执行，而方法内部的逻辑代码是在Executor端执行

执行的差异性

以foreach为例，属于不同类的foreach，其执行顺序不同：

val sparkConf: SparkConf = new SparkConf().setMaster("local[*]")<
最低0.47元/天 解锁文章
枏
关注
  • 1
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
专栏目录
【Spark的那些事儿】论RDD算子的重要性
JDJRdata的博客
06-09 2150
虽然RDD结构是spark设计思想最重要的组成，但是没有辅助的功能只有结构并不能独立使用。真正使RDD完成计算优化的，就是今天我们要讲到的spark RDD的另一个重要组成部分RDD算子。
Spark常用的算子以及Scala函数总结.pdf
05-17
Spark RDD 算子说明，分别讲述了Transformation和Action这两类的算子。
为什么spark中叫算子不叫方法以及算子之间的区别
wang5g的博客
03-03 1884
今天博主在学习spark中一直在用算子，突然很困惑为什么要叫算子而不是方法呢？ 答： 算子：（Operation) 是为了区分和scala集合对象的方法，集合对象的方法都是在同一个节点中完成的，RDD的方法也就是算子都是在Executor中执行，为了区分两者，所以称之为算子。 foreach collect.foreach Execute端执行操做 在driver端执执行操作 每个Execute进行输出，所以乱序 Execute端反馈给driver，driver端进行整合输出，所以是有序
JS 利用 Map结构实现对象数组根据某属性分组
yk950309的博客
10-13 2933
爱啥
bigdata_scala集合与Spark
JIE_ling8的博客
11-11 449
一丶scala集合 collection 1 Scala List(列表) 元素以线性方式存储，集合中可以存放重复对象。 2 Scala Set(集合) 集合中的对象不按特定的方式排序，并且没有重复对象。 3 Scala Map(映射) KV对存储 4 Scala 元组 元组是不同类型的值的集合 5 Scala Option 表示有可能包含值的容器，也可能不包含值。 6 Scala Iterator迭代器 迭代器不是一个容器，更确切的说是逐一访问容器内 1.List 概念：类似数组，内容类型相同，通过泛型约
Spark RDD算子大全(Java、Scala双版本)
菜鸟也学大数据的博客
11-04 658
一.Spark RDD概念 概述 RDD是将数据项拆分为多个分区的集合，存储在集群的工作节点上的内存中，并执行指定操作 RDD是用于数据转换的接口 RDD指向了存储在HDFS、Cassandra、HBase等、或缓存（内存、内存+磁盘、仅磁盘等），或在故障或缓存收回时重新计算其他RDD分区中的数据 特性 分布式数据集 RDD是只读的、分区记录的集合，每个分区分布在集群的不同节点上 RDD并不存储真正的数据，只是对数据和操作的描述 弹性 RDD默认存放在内存中，当内存不足，Spark自动将RDD
Spark RDD是什么？
01-07
Spark 的核心是建立在统一的抽象弹性分布式数据集（Resiliennt Distributed Datasets，RDD）之上的，这使得 Spark 的各个组件可以无缝地进行集成，能够在同一个应用程序中完成大数据处理。本节将对 RDD 的基本概念及...
将string类型的数据类型转换为spark rdd时报错的解决方法
09-19
今天小编就为大家分享一篇关于将string类型的数据类型转换为spark rdd时报错的解决方法，小编觉得内容挺不错的，现在分享给大家，具有很好的参考价值，需要的朋友一起跟随小编来看看吧
浅谈Spark RDD API中的Map和Reduce
01-10
因此，Spark应用程序所做的无非是把需要处理的数据转换为RDD，然后对RDD进行一系列的变换和操作从而得到结果。本文为第一部分，将介绍Spark RDD中与Map和Reduce相关的API中。 如何创建RDD？ RDD可以从普通数组创建...
Java和scala实现 Spark RDD转换成DataFrame的两种方法小结
08-27
今天小编就为大家分享一篇Java和scala实现 Spark RDD转换成DataFrame的两种方法小结，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
scala集合方法与RDD算子区别
探索数据奥秘的博客
10-09 354
1、Scala集合方法与RDD算子区别 RDD的方法和Scala集合对象的方法不一样 集合对象的方法都是在同一个节点的内存中完成的 RDD的方法可以将计算逻辑发送到Executor端（分布式节点）执行 为了区分不同的处理效果，所以将RDD的方法称之为算子 RDD的方法之外的操作都是在Driver端执行的，而方法内部的逻辑代码是在Excutor端执行的 2、RDD转换算子与行动算子 转换算子，是将RDD进行各种形式的变换，但不执行 行动算子，像是启动按钮，将之前一系列转换算子一并执行 ..
Spark学习之路(四)：深度图解Spark算子运作原理
萧邦主的城邦
06-28 1549
内容简介一、Spark算子的概念二、Spark常用算子概览1. transform算子2.action算子三、Spark常用算子原理图解1.transform算子2.action算子四、总结 一、Spark算子的概念 在Spark中提供了大量的算子来操作RDD，所谓算子可以理解为操作RDD的方法或者函数。算子大致分为两种类型：transform算子和action算子，所谓transform算子是...
Spark RDD算子详解
weixin_36040866的博客
02-07 3346
RDD转换算子及行动算子详细记录，附idea实操演练 转换算子（Transformation）：功能的补充和封装，将旧的RDD包装成新的RDD（flatMap,map...) 行动算子（Action）：触发任务的调度和作业的执行(collect)
C++ 内联函数的相关概念
weixin_42616791的博客
09-27 508
C++ 内联函数的概念 介绍内联函数之前，需要说明一下 C ++ 在执行普通函数时的一个过程，在调用普通函数时，执行到函数调用指令时，程序将在函数调用后立即存储该指令的内存地址，并将函数参数复制到堆栈，跳转到标记函数起点的内存单元，执行函数代码，然后调回到地址被保存的指令处，下图是关于 C ++ 普通函数调用的一个示意图： ...
对抗重力—初探声悬浮技术
楠楠好难
03-07 8727
对抗重力——初探声悬浮技术前言五类悬浮技术磁悬浮静电悬浮光悬浮气体悬浮声悬浮原理声的传播振幅为零！制作过程材料超声波悬浮全貌换能头电路图实验视频程序 前言 从古至今，人们就渴望着能够摆脱地面的束缚，如鸟类般在天空自由的飞翔，而人类的探索也从未停止过。远在春秋时期，就有了的风筝的雏形。在明朝，尽管万户发明的飞椅未能如愿将其送上天空，但他是世界上第一个想到借助火箭推力升空并付诸实践的人。 到了近代，...
spark—算子详解
weixin_44604159的博客
09-21 1881
介绍算子和闭包检测功能
常用SparkRDD容易混淆的算子区别（Scala版本）
Widsom的博客
05-08 2762
常用SparkRDD容易混淆的算子区别 1.map与flatMap的区别 # 初始化数据 val rdd1 = sc.parallelize(Array("hello world","i love you")) map # map算子 rdd1.map(_.split(" ")).collect # map算子结果输出 res0: Array[Array[String]] =...
RDD 算子
McGrady_Durant的博客
08-11 1390
对RDD操作，可以通过spark提供的算子完成 在spark提供的对RDD操作的算子中，分成了两类： **转换算子(transfermation): ** 从-一个RDD,经过算子处理转换成另外一个RDD。 行动算子(Action): 从一个RDD，经过算子处理，会生成一个scala对象。 转换算子是懒加载模式，只有遇到了行动算子，转换算子才会真正执行 RDD转换（Transformations）算子 转换算子(transfermation) 分成了两部分: 1.对值（value）进行操作的算子 2.对
spark的flatmap算子为什么返回值的是一个迭代器？如何理解该算子？
最新发布
04-08
FlatMap算子返回的是一个迭代器，是因为该算子会将每个元素转换成多个元素，并且这些元素需要被逐个处理。例如，在一个包含多个句子的RDD中，使用FlatMap算子可以将每个句子拆分成多个单词，并且这些单词需要被逐个处理。 对于该算子的理解，可以将其看作是一种扁平化操作，将多个元素转化为单个元素，方便后续处理。同时，由于返回值是一个迭代器，所以可以在处理过程中动态生成新的元素序列，避免了内存溢出等问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值