spark常用算子transform&action

最新推荐文章于 2022-10-26 10:59:06 发布
最新推荐文章于 2022-10-26 10:59:06 发布
阅读量242 收藏
点赞数
分类专栏： # Spark 3.1.2 文章标签： spark scala big data
本站点用作笔记使用，如有侵权，请联系我进行删除，谢谢
本文链接：https://blog.csdn.net/dzzxjl/article/details/120359137
版权

在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFile等)。在Spark中，只有遇到action，才会执行RDD的计算(即延迟计算)，这样在运行时可以通过管道的方式传输多个转换。

spark中的collect操作是将远程数据通过网络传输到本地，如果数据量特别大的话，会造成很大的网络压力，更为严重的问题是会造成driver端的内存溢出。
foreach是依次遍历远程集群上的RDD中的元素。
collect()和foreach,二者的区别有点类似于Python中的range函数和xrange函数。
在这里插入图片描述
——————————————————————————————
在这里插入图片描述

dzzxjl
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark _30_SparkStreaming算子操作&Driver HA
乔治大哥的博客
11-17 434
SparkStreaming算子操作 foreachRDD output operation算子,必须对抽取出来的RDD执行action类算子，代码才能执行。 import org.apache.spark.rdd.RDD import org.apache.spark.streaming.dstream.{DStream, ReceiverInputDStream} import...
spark常用算子（函数）
weixin_43698185的博客
11-22 685
一、spark常用算子 1、Transformations转换算子 1.概念： Transformations类算子是一类算子（函数）叫做转换算子，如map,flatMap,reduceByKey等。Transformations算子是延迟执行，也叫懒加载执行。 2.Transformation类算子： filter 过滤符合条件的记录数，true...
Spark Transformation和Action算子速查表.pdf
05-17
spark transformation & action 算子速查表，大数据实时和离线数据处理方向，希望对大家学习和工作有所帮助。
Spark Transformation 和 Action 常用算子
mxk4869的博客
07-14 291
Spark Transformation 和 Action 常用算子
【Spark】（五）Spark Transformation（转换算子） 和 Action（执行算子）
云祁QI
01-09 2081
文章目录一、Transformation 和 Action1、转换操作2、行动操作二、map、flatMap、mapParations、mapPartitionsWithIndex2.1　map2.2　flatMap3.3　mapPartitions2.4 mapPartitionsWithIndex三、reduce、reduceByKey3.1　reduce3.2　reduceByKey四、un...
Spark transform 与action算子
chixushuchu的博客
01-11 1127
Transformation filter map mapToPair flatMap reduceByKey sortBy/sortByKey sample join leftOuterJoin rightOuterJoin fullOuterJoin union intersection subtract distinct cogroup mapPartiti...
Spark 的transformation和action操作
lin1270473045的博客
12-21 5415
1.前言： RDD：弹性分布式数据集，是一种特殊集合、支持多种来源、有容错机制、可以被缓存、支持并行操作，一个RDD代表多个分区里的数据集 RDD有两种操作算子： Transformation（转换）：Transformation属于延迟计算，当一个RDD转换成另一个RDD时并没有立即进行转换，仅仅是记住了数据集的逻辑操作 Action（执行）：触发Spark作业...
Spark_Transformation和Action算子
weixin_42947670的博客
09-06 716
Transformation 和 Action 常用算子 一、Transformation         1.1 map         1.2 filter         1.3 flatMap      &nbs
java-spark中各种常用算子的写法示例
08-27
下面我们将通过示例代码来介绍一些常用的 Spark 算子写法。 1. map 算子 map 算子是 Spark 中最基本的算子之一，它可以将一个 RDD 转换成另一个 RDD。map 算子需要定义一个转换函数，该函数将输入数据转换成输出...
JavaSpark | 算子
liujiesxs的博客
07-22 851
JavaSpark中的Transformations转换算子，Actions算子，持久化算子
Spark中RDD的transformation&action
weixin_34376562的博客
06-21 175
2019独角兽企业重金招聘Python工程师标准>>> ...
Spark（四）—— Transformation算子
分享AI工具、AI技术、AI学习经验，感谢大家关注
03-12 987
文章目录Transformation算子基本算子1. map(func)2. filter(func)3. flatMap4. 集合运算（union、intersection、distinct）5. 分组（groupByKey、reduceByKey、cogroup）6. 排序（sortBy、sortByKey）高级算子1. mapPartitionsWithIndex(func)2. aggre...
[spark]transformation算子
胖胖的博客
10-26 757
rdd1.cogroup(rdd2):将rdd1和rdd2按照他们相同的key进行分组，返回key,rdd1的value,rdd2的value组成的元组，在这个元组中._1是key，._2是(value1,value2)，其中rdd1的value，rdd2的value都是迭代器，是相同key对应的值组成的迭代器。参数numPartitions：指结果RDD的分区个数，也可以不写参数，默认是和父RDD一样的分区数，返回值是一个元组，第一个值是key的值，第二个值是该key进行分组的value组成的迭代器。
spark--transform算子--map
书灯的博客
07-18 773
map 遍历元素，对每个元素进行操作
Spark中action和transformation算子
蓝色格子ren的博客
07-30 549
RDD是不可变型的，并且针对RDD的每个操作都将创建一个新的RDD。可以在RDD上执行两种类型的操作，即：action和transformation 1、transformation transformation通过对现有RDD中的每个元素应用转换逻辑来生成新的RDD。一些转换函数可以对元素进行拆分、过滤或执行排序计算操作。 多个transformation算子可按顺序操作；但在transformation阶段，并不会真正执行任务。 对于transformation算子，Spark会将其加入包含了计算的DA
spark--transform算子--parallelized
书灯的博客
07-18 329
parallelize 操作会将集合并行化为RDD
Spark学习笔记(3) - 关于Spark常用的transform算子的一些总结⭐️⭐️⭐️
兀坐晴窗独饮茶
07-28 439
RDD 常用 transform 算子
Spark的Transform算子和Action算子列举和示例
spark的自由牧场的博客
08-22 8319
参考资料：http://www.cnblogs.com/zlslch/p/5723857.html ：http://www.cnblogs.com/liuzhongfeng/p/5285613.htmlSpark 算子概念 Transformation 变换/转换：这种变换并不触发提交作业，完成作业中间过程处理。Transformation 操作是延迟计算的，也就是说从
Spark Transformation 算子总结笔记
qq_43224174的博客
03-31 1014
由于本篇文章写的内容多，且杂，加上本人在写的过程中还加入了大量解释，为此本篇文章会设置成粉丝可见，请谅解！ 本篇文章主要包含了Spark Transformation 算子的value算子（ 1、map()映射 2、mapPartitions()以分区为单位执行Map map()和mapPartition()的区别： 3、mapPartitionsWithIndex()带分区号 4、flatMap()扁平化 6、groupBy()分组（包含四种方法取首字母） 7、GroupBy()之WordCount
spark所有action算子和transform算子
最新发布
04-03
Spark中的操作分为两类：转换操作（Transformations）和行动操作（Actions）。 Transformations（转换操作）是指将一个RDD转换为另一个RDD的操作。这些操作不会立即执行，而是返回一个新的RDD，只有在遇到行动操作时才会执行。 以下是一些常见的Transformations操作： - map(func)：传入一个函数，对RDD中每个元素进行映射操作，返回新的RDD。 - filter(func)：传入一个函数，对RDD中的每个元素进行过滤操作，返回一个包含符合条件的元素的新RDD。 - flatMap(func)：传入一个函数，对RDD中每个元素进行映射操作，并返回多个元素，最终生成新的RDD。 - distinct([numTasks]))：返回一个去重后的RDD。 - groupByKey([numTasks])：按照Key进行分组，返回一个(K, Iterable[V])的RDD。 - reduceByKey(func, [numTasks])：按照Key进行分组，然后对每个Key的Value进行reduce操作，返回一个(K, V)的RDD。 Actions（行动操作）是触发Spark计算的操作，会执行Transformations操作生成的计算图，并返回计算结果。 以下是一些常见的Actions操作： - collect()：将RDD中的所有元素收集到Driver端。 - count()：返回RDD中元素的个数。 - first()：返回RDD中的第一个元素。 - take(n)：返回RDD中前n个元素。 - reduce(func)：对RDD中的元素进行reduce操作。 - foreach(func)：对RDD中的每个元素执行给定的函数。 以上是Spark中常见的Transformations和Actions，还有一些其他的操作，如join、union、distinct、sortBy等等。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值