spark transformation和action操作

最新推荐文章于 2022-08-19 12:49:36 发布
最新推荐文章于 2022-08-19 12:49:36 发布
阅读量276 收藏
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mn_kw/article/details/81735288
版权

spark中的transformation是lazy特性的，比如我们的wordCount操作，在促发action（foreach）操作前，我们前边的算子是不会实际操作执行的，整个这一块，都是在Driver节点上执行，也就是执行我们自己编写的spark应用程序，但是呢，在action执行之前，所有的transformation都是lazy的，不会立即执行，只有执行的action后，才会促发job,提交task到spark集群上，进行实际的操作

 

当执行action操作的时候，Driver会提交大量的task到之前注册过来的Worker上的executor上去执行

 

第一次算子操作后，其实这个算子的rdd会被废弃掉，数据也会被新的数据所填充

mn_kw
关注
专栏目录
Spark07：【案例】Transformation和Action
weixin_40612128的博客
03-09 591
一、Transformation和Action 接下来我们详细分析一下Spark中对RDD的操作 Spark对RDD的操作可以整体分为两类： Transformation和Action 这里的Transformation可以翻译为转换，表示是针对RDD中数据的转换操作，主要会针对已有的RDD创建一个新的RDD：常见的有map、flatMap、filter等等。 Action可以翻译为执行，表示是触发任务执行的操作，主要对RDD进行最后的操作，比如遍历、reduce、保存到文件等，并且还可以把结果返回给Dri
【大数据Spark系列】Spark Transformation和Action算子
weixin_54707168的博客
04-01 150
【大数据Spark系列】Spark Transformation和Action算子
spark RDD transformation与action函数整理
weixin_34349320的博客
11-28 79
1.创建RDD val lines = sc.parallelize(List("pandas","i like pandas")) 2.加载本地文件到RDD val linesRDD = sc.textFile("yangsy.txt") 3.过滤 filter 需要注意的是 filter并不会在原有RDD上过滤，而是根据filter的内容重新创建了一个RDD ...
spark transformation与action操作函数
weixin_34185320的博客
10-14 59
一、Transformation map(func) 返回一个新的分布式数据集，由每个原元素经过函数处理后的新元素组成 filter(func) 返回一个新的数据集，经过fun函数处理后返回值为true的原元素组成 flatMap(func) 类似于map,但每个输入元素会被映射为0个或多个输出元素 mapPartitions(func)  类似于map,对RDD的每个分区起作用 int...
Spark transformation操作
hnxydq的专栏
03-19 1005
对一个集合调用SparkContext的parallelize方法，集合的对象将会被拷贝，创建出一个可以被并行操作的分布式数据集。 使用Scala实现如下： 1、map：将集合中每个元素乘以2 object TransformationOperation { def main(args: Array[String]):Unit = { val conf = new SparkCo
Spark 的transformation和action操作
chisuijie5678的博客
01-14 119
1.前言： RDD：弹性分布式数据集，是一种特殊集合、支持多种来源、有容错机制、可以被缓存、支持并行操作，一个RDD代表多个分区里的数据集 RDD有两种操作算子： Transformation(转换)：Transformation属于延迟计算，当一个RDD转换成另一个RDD时并没有立即进...
Spark Transformation和Action算子速查表.pdf
05-17
Spark的这些Transformation和Action算子是学习和使用Spark时必须掌握的关键概念，它们提供了在大数据环境中对数据进行转换和操作的强大能力。通过掌握这些算子，可以高效地实现数据处理流程，无论是在实时处理还是在...
Spark-Transformation和Action算子.md
最新发布
08-09
### Spark Transformation和Action算子详解 #### 一、Transformation **Transformation** 在 Spark 中是指对 RDD（弹性分布式数据集）进行的各种转换操作。这些操作并不会立即执行，而是延迟执行，直到遇到 Action...
Spark_Transformation和Action算子
weixin_42947670的博客
09-06 759
Transformation 和 Action 常用算子 一、Transformation         1.1 map         1.2 filter         1.3 flatMap      &nbs
Spark Transformation和Actions
SunJackson的博客
07-31 228
Transformation和Actions Transformation具体内容 map(func) :返回一个新的分布式数据集，由每个原元素经过func函数转换后组成 filter(func) : 返回一个新的数据集，由经过func函数后返回值为true的原元素组成*flatMap(func) : 类似于map，但是每一个输入元素，会被映射为0到多个输出元素（因此，func函数的返回...
Spark Transformation与Action
libaowenBlog的博客
08-19 477
常见的action算子、常见的transformation算子、 map 将RDD中的每个元素进行处理，一进一出 filter 对RDD中每个元素进行判断，返回true则保留 flatMap 与map类似，但是每个元素都可以返回一个或多个新元素 groupByKey reduce：聚合计算 collect：获取元素集合 take(n)：获取前n个元素 count：获取元素总数 saveAsTextFile： countByKey：统计相同的key出现多少次 foreach：迭代遍历元素
Spark Transformation和Action算子速查表
Allenzyg的博客
09-23 212
Transformation算子 Transformation算子 作用 map(func) 返回一个新的分布式数据集，其中每个元素都是由源RDD中每一个元素经过func函数转换得到的 filter(func) 返回一个新的数据集，其中包含的元素来自源RDD元素经过func函数过滤后的结果（func函数返回true的结果） flatMap(func)
（六） Spark的Transformation和action介绍
zhtzh312的博客
07-11 676
RDD支持两种类型的操作：Transformation（从现有的数据集创建新的数据集）和action（在对数据集运行计算后将值返回给驱动程序）。例如，map是一种Transformation，它通过一个函数来传递每个数据集元素，并返回一个表示结果的新RDD。另一方面，reduce是一个action，它使用某个函数聚合RDD的所有元素，并将最终结果返回给driver驱动程序（尽管还有一...
Spark中RDD的transformation和action
li-zhang-yu的博客
01-17 501
一：transformation和action的区别 1，transformation是得到一个新的RDD，方式很多，比如从数据源生成一个新的RDD，从RDD生成一个新的RDD 2，action是得到一个值，或者一个结果（直接将RDDcache到内存中） 所有的transformation都是采用的懒策略，就是如果只是将transformation提交是不会执行计算的，计算只有在action...
sparkStreaming的transformation和action详解
u011500419的专栏
06-14 268
https://www.cnblogs.com/yhl-yh/p/7651558.html
SPark学习笔记：13 Spark Streaming 的Transform算子和Action算子
08-17 1174
和RDD类似，DStreams也有一些转换算子用于处输入流中的数据。DStream中有很多转换算子和RDD的转换算子一样，同时也提供了一些额外的算子。此文将总结DStreams的各种算子的使用。
Spark的transformation 和 action的操作学习笔记
weixin_33938733的博客
09-21 83
一、spark的transformation 和 action区别Spark有一些基本的transformation 和 action的操作，其中transformation形成各类型的RDD，action不形成RDD，而是对RDD进行累加、合并、保存操作。二、transformation 有哪些transformation有map、filter、flatMap（与map不一...
Transformation和Actions详解
wangyang_software的专栏
12-08 483
Transformation具体内容 map(func) :返回一个新的分布式数据集，由每个原元素经过func函数转换后组成filter(func) : 返回一个新的数据集，由经过func函数后返回值为true的原元素组成  flatMap(func) : 类似于map，但是每一个输入元素，会被映射为0到多个输出元素（因此，func函数的返回值是一个Seq，而不是单一元素）sample(w
Spark算子详解：Transformation与Action操作
"Spark算子的详细使用方法涵盖了Spark中的Transformation和Action两类算子，以及它们的细分类型，包括Value型、Key-Value型的Transformation算子和Action算子。核心概念是RDD（弹性分布式数据集），它是Spark计算的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值