Spark的transformation算子和action算子总结

最新推荐文章于 2023-03-06 15:36:37 发布
最新推荐文章于 2023-03-06 15:36:37 发布
阅读量247 收藏
点赞数
分类专栏： 大数据 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bigdata_wangzhe/article/details/115586894
版权
Spark的transformation算子

1）单Value

  • map
  • mapPartitions
  • mapPartitionsWithIndex
  • flatMap
  • glom
  • groupBy
  • filter
  • sample
  • distinct
  • coalesce
  • repartition
  • sortBy
  • pipe
    2）双vlaue
  • intersection
  • union
  • subtract
  • zip
    3）Key-Value
  • partitionBy
  • reduceByKey
  • groupByKey
  • aggregateByKey
  • foldByKey
  • combineByKey
  • sortByKey
  • mapValues
  • join
  • cogroup
Spark的action算子
  • reduce：
  • collect:
  • count
  • first：
  • take：
  • takeOrdered
  • aggregate：
  • fold
  • countByKey：
  • save
  • foreach：
bigdata_wangzhe
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark-Transformation和Action算子.md
08-09
Spark_Transformation和Action算子.md
Spark_Transformation和Action算子
weixin_42947670的博客
09-06 402
Transformation 和 Action 常用算子 一、Transformation         1.1 map         1.2 filter         1.3 flatMap      &nbs
spark学习之 action 与 transformation 比较
威少（微笑）
04-25 3182
目录 一：action 与 transformation 的区别 二：action 与transformation 算子的捉对比较 一：action 与 transformation 的区别 1.RDD 的操作： （1）transformation操作：得到一个新的RDD，比如从数据源生成一个新的RDD，从RDD生成一个新的RDD 常见：数据之间...
Spark（4）RDD编程中的transformation算子和action算子使用与区别详解
weixin_43230682的博客
08-04 1759
前言 在上一篇文章中我们介绍了什么是RDD，以及RDD的属性、特征、依赖关系和缓存机制等等： Spark（3）架构原理、运行流程、RDD 那么，本文继续重点介绍一下RDD两类算子的使用。 一、编程模型 在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFil
spark中的转换算子和行动算子区别(transformations and actions)
qq_27896233的博客
03-06 1238
spark转换算子和行动算子的区别
Spark中Transformation算子和Action算子详细介绍
知其然，知其所以然
01-23 981
美图欣赏： 一.Transformation算子 RDD中的所有转换都是延迟加载的，也就是说，它们并不会直接计算结果。相反的，它们只是记住这些应用到基础数据集（例如一个文件）上的转换动作。只有当发生一个要求返回结果给Driver的动作时，这些转换才会真正运行。这种设计让Spark更加有效率地运行。 转换 含义 m...
Spark Transformation和Action算子速查表.pdf
05-17
spark transformation & action 算子速查表，大数据实时和离线数据处理方向，希望对大家学习和工作有所帮助。
Spark常用的算子以及Scala函数总结.pdf
05-17
Spark RDD 算子说明，分别讲述了Transformation和Action这两类的算子。
spark算子基础讲义1
03-13
关于spark较为简单的算子讲义 和相对的用法，基于scala语言
transformation、action算子代码示例
10-13
适合新手练习，大数据的核心内容Spark Core算子操作。
Spark的Transform算子和Action算子列举和示例
spark的自由牧场的博客
08-22 8199
参考资料：http://www.cnblogs.com/zlslch/p/5723857.html ：http://www.cnblogs.com/liuzhongfeng/p/5285613.htmlSpark 算子概念 Transformation 变换/转换：这种变换并不触发提交作业，完成作业中间过程处理。Transformation 操作是延迟计算的，也就是说从
spark之算子--transformation和action
qq_34382453的博客
12-20 742
摘要   spark的RDD具有延迟计算的特性，spark有两种操作算子，一种是transformation，一种是action。tranformation是来创建RDD的，它有可能从文件创建，也可能集合中创建，也可能依赖其它RDD创建。当算子为transformation的时候，spark并不执行计算操作，只有当遇到action算子的时候才开始计算。这就是transformation的lazy特...
Spark：常用transformation及action，spark算子详解
youngflyer的博客
03-02 637
Spark：常用transformation及action，spark算子详解 一、常用transformation介绍 操作 介绍 map 将RDD中的每个元素传入自定义函数，获取一个新的元素，然后用新的元素组成新的RDD filter 对RDD中每个元素进行判断，如果返回true则保留，返回false则剔除 flatMap 与map类似，但是对每个元素都可以返回一个或多个新元素 groupByKey 根据key进行分组，每个key对应一个Iterable
【Spark】（五）Spark Transformation（转换算子） 和 Action（执行算子）
云祁QI
01-09 1969
文章目录一、Transformation 和 Action1、转换操作2、行动操作二、map、flatMap、mapParations、mapPartitionsWithIndex2.1　map2.2　flatMap3.3　mapPartitions2.4 mapPartitionsWithIndex三、reduce、reduceByKey3.1　reduce3.2　reduceByKey四、un...
Spark高频面试题(建议收藏)
热门推荐
a934079371的博客
10-29 2万+
一、你是怎么理解Spark，它的特点是什么？Spark是一个基于内存的，用于大规模数据处理（离线计算、实时计算、快速查询（交互式查询））的统一分析引擎。...
Spark 常见的transformation算子和action算子有哪些？
大数据流浪法师的学习笔记与分享
05-26 1286
Spark 常见的transformation算子和action算子有哪些？ transformation算子 map flatMap filter groupByKey reduceByKey sortByKey action算子 reduce collect first take aggregate countByKey foreach saveAsTextFile
[Spark基础]-- spark的transformation和action算子(基本操作)
欢迎来到我的博客，一起探索代码里的世界！
08-23 2734
一、transform操作 1、map(func)  返回一个新的分布式数据集，由每个原元素经过func函数处理后的新元素组成  2、filter(func)  返回一个新的数据集，由经过func函数处理后返回值为true的原元素组成  3、flatMap(func)  类似于map，但是每一个输入元素，会被映射为0个或多个输出元素，(因此，func函数的返回值是一个seq，而不是单一元素)  4...
Spark Transformation和Action算子速查表
大冰的小屋
08-20 1563
Transformation算子 Transformation算子 作用 map(func) 返回一个新的分布式数据集，其中每个元素都是由源RDD中每一个元素经过func函数转换得到的 filter(func) 返回一个新的数据集，其中包含的元素来自源RDD中元素经过func函数过滤后的结果（func函数返回true的结果） flatMap(func) 类似于map,
Spark transform 与action算子
chixushuchu的博客
01-11 1099
Transformation filter map mapToPair flatMap reduceByKey sortBy/sortByKey sample join leftOuterJoin rightOuterJoin fullOuterJoin union intersection subtract distinct cogroup mapPartiti...
transformation算子与action算子的关系
最新发布
07-13
在Spark中，Transformation算子和Action算子是两种不同的操作类型，它们在RDD上执行不同的操作，并且它们之间有一些关系。 Transformation算子是一种惰性操作，它们不会立即执行，而是返回一个新的RDD。这些算子...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值