spark算子讲解

最新推荐文章于 2024-05-28 22:46:39 发布
最新推荐文章于 2024-05-28 22:46:39 发布
阅读量250 收藏
点赞数
分类专栏： spark 文章标签： spark算子讲解
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/an13654067079/article/details/126144067
版权
本文介绍了Spark编程中重要的两种算子类型：Transformation和Action。Transformation算子用于转化RDD，延迟执行，而Action算子触发计算并返回结果或保存到外部系统。Transformation是异步且不影响性能，而Action会导致从血缘关系开始的物理转换，消耗性能。了解这些特性对于优化Spark应用至关重要。
摘要由CSDN通过智能技术生成

1 背景

 写spark 程序重要特性就是基于算子开发

 每一个算子都有自己的特性和用途

 某一类算子是性能瓶颈的所在

2 分类

  spark 算子有两种主要的分类

   

 

 3 Transformation

3.1 简介

              用来对RDD进行转化

              每一次 Transformation 操作都会产生新的RDD

              这个操作时延迟执行的

     

 4  Action

4.1 简介

    用来触发RDD的计算；得到相关计算结果 或者 将结果保存的外部系统中

 5   两者特点总结

 

   Transformation 是异步的，并不会影响性能

   返回结果int、double、集合（不会返回新的RDD），遇到 Action 操作时，开始从血 缘关系（lineage）源头开始，进行物理的转换操作所以Action的算子是消耗性能的 

 

this is a book
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark的checkpoint源码讲解
04-09
Spark 的Checkpoint 源码讲解 Checkpoint 是 Spark 中的一种机制，用于快速恢复应用程序在出现故障时的状态。它可以帮助 Spark 应用从故障中恢复，避免了重新计算的麻烦。Checkpoint 相关源码可以分为四个部分：...
spark-SequenceFile及MapFile讲解
04-08
Spark-SequenceFile 及 MapFile 讲解 Spark-SequenceFile 及 MapFile 是 Hadoop 的两个重要组件，分别用于解决小文件处理效率低下的问题和提供高效的数据存储方式。下面将详细介绍这两个组件的概念、特点和应用。 ...
Spark基础之：常用算子逐一详解
weixin_43542605的博客
01-09 4596
Spark常用算子逐一详解 一、什么是Spark rdd算子 二、算子的分类 三、常用的Transformation算子及使用方法 四、常用的Action算子及使用方法 五、关于rdd算子的常见问题汇总
spark—算子详解
weixin_44604159的博客
09-21 1929
介绍算子和闭包检测功能
Spark常见算子详解
最新发布
weixin_42733117的博客
05-28 1382
groupByKey 和groupby 的区别是前者是确定以key为分组，所以只返回value的迭代器，程序上后者不确定以什么来分组，所以返回[(String,Int) (K,V)]定义：countByKey算子统计K-v类型的数据中的Key的次数，countByValue统计所有的value出现的次数，统计对象可以是K-v，也可以是List等。定义：rdd.aggregateByKey((初始化的值)(分区内迭代计算的逻辑)(分区间计算的逻辑))
spark 算子
myt0929的专栏
09-01 1172
  什么是spark算子？可以理解成spark RDD的方法，这些方法作用于RDD的每一个partition。   因为spark的RDD是一个 lazy的计算过程，只有得到特定触发才会进行计算，否则不会产生任何结果。大体上分： Transformation 变换/转换算子，不触发执行 Action 行动算子，立马触发执行 常用算子 一、map 二、reduce 三、 二、red...
Spark常用算子
qq_51628990的博客
08-11 4212
fullOuterJoin算子(K,,V)格式的RDD和(K,V)格式的RDD，使用fullOuterJoin结合是以两边的RDD出现的key为主，得到(K(Option(V),Option(W)))会产生shuffle,(K,V)格式的RDD和(K,V)格式的RDD按照相同的K，join得到(K,(V,W))格式的数据，分区数按照大的来。取RDD的差集，subtract两个RDD的类型要一致，结果RDD的分区数与subtract算子前面的RDD分区数多的一致。...
Spark算子（RDD）超细致讲解
中长跑路上的crush
01-12 1340
map,flatmap,sortBykey, reduceBykey,groupBykey,Mapvalues,filter,distinct,sortBy,groupBy共10个转换算子。
【SparkCore篇03】RDD行动算子1
08-04
本篇主要讲解RDD的行动算子，包括`reduce`、`collect`、`count`、`first`、`take`、`takeOrdered`、`aggregate`和`fold`。 1. `reduce`算子： `reduce`用于聚合RDD中的所有元素，它接受一个函数 `(x, y) => (x+y)`...
【Spark调优篇04】Spark之JVM调优1
08-04
本文档主要讲解了 Spark 之 JVM 调优的相关知识点，涉及到 JVM 调优的重要性、缓存操作的内存占比、统一内存管理机制、Executor 堆外内存的调节、连接等待时长的设置等内容。 JVM 调优的重要性 在 Spark 中，JVM ...
spark-core核心机制PPT讲解
08-20
### Spark-Core核心机制详解 #### 一、Spark Core概述 Apache Spark是一款开源的大数据处理框架，它能够提供统一的数据处理接口，支持批处理、实时计算、机器学习等多种数据处理模式。Spark Core作为整个Spark框架...
Spark常用算子介绍
olifchou的博客
11-13 5835
一、简介 Spark主要包含Transformation和Action两种算子。 Transformation算子 Transformation类算子一般都是懒操作的，即该过程并不提交Job作业，而是等到Action算子才会提交作业。主要包括：map、filter、flatMap、mapPartitions、mapPartitionsWithIndex、sample、union、intersection、distinct、groupByKey、reduceByKey、aggregateByKey、sort
大数据技术之spark算子
weixin_53191998的博客
03-10 367
大数据spark核心--算子
spark的算子
diskindom的博客
11-23 1019
Spark中的单Value算子是指对一个RDD中的每个元素进行操作，并返回一个新的RDD。这些单Value算子能够对RDD中的每个元素进行处理，并返回一个新的RDD，可以用于各种数据转换、过滤、去重等操作。
一文学完Spark常用算子（Spark算子大全）
笑看风云路的博客
07-08 8303
Spark RDD的算子分为转换算子（Transformation）和行动算子（Action）。转换算子分为：Value类型、双Value类型和K-V类型。将处理的数据逐条进行映射转换，这里的转换可以是类型的转换，也可以是值的转换...............
数据开发：Spark算子
the_singing_towers的博客
01-20 1992
Action （行动）算子 foreach foreach 对RDD中的每个元素都应用传入的函数进行操作， 不返回RDD和Array，而是返回Unit val source:RDD[String] = sc.textFile(".\\datas") val result_string:RDD[String] = source.map(x=>(x)) // 打印RDD中每个元素 result_string.foreach(println) count count 返回整个RDD的元素个数 va
spark算子汇总
weixin_43641478的博客
07-17 1227
spark算子汇总 Spark的算子的分类 从大方向来说，Spark 算子大致可以分为以下两类: 1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。 Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。 2）Action 行动算子：这类算子会触发 SparkContext 提交 Job 作业。 Action 算子会触发 Spark 提
大数据开发之Spark常用RDD算子
落幕7的博客
11-09 489
文章目录大数据开发之Spark常用RDD算子mapflatMapmapPartitions和mapPartitionsWithIndexfiltersampleunionjoingroupByKeysort,sortBykeyMapValues常用操作算子 大数据开发之Spark常用RDD算子 map map传入一条数据，返回一条数据 map是对RDD中元素逐一进行函数操作映射为另外一个RDD， 将一个RDD中的每个数据项，通过map中的函数映射变为一个新的元素。 输入分区与输出分区一对一，即：有多少个输入
SparkCore RDD转换算子：map、mapPartition与mapPartitionsWithIndex解析
本篇主要讲解了RDD转换算子的几个关键操作，这些算子用于在RDD上进行数据处理和转换。 1. map() 算子： map() 是一个常见的转换操作，它接收一个函数作为参数，该函数会被应用到RDD中的每个元素上。例如，如果有一...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值