Spark的RDD转换算子与行动算子

已于 2022-09-21 22:17:10 修改
阅读量581 收藏 2
点赞数
分类专栏： spark 文章标签： spark 大数据 分布式
于 2022-08-20 15:36:47 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Laoddaaa/article/details/126426299
版权
本文详细介绍了Spark中的转换算子，包括单Value类型、双Value类型和Key-Value类型的算子，如map、filter、reduceByKey和groupByKey等，并讨论了引起Shuffle的算子。此外，还对比了reduceByKey与groupByKey的区别，以及阐述了Repartition和Coalesce的关系与应用场景。
摘要由CSDN通过智能技术生成

转换算子

RDD根据数据处理的方式不同将算子整体上分为单Value类型、双Value类型和Key-Value类型

  • 单Value类型
  1. map
    将处理的数据逐条进行映射转换，这里的转换可以是类的转换，也可以是值的转换。
  2. mapPartitions
    将待处理的数据以分区为单位发送到计算节点进行处理，也就是一次处理一个分区的数据，而不是像map函数一样逐条处理。这里的处理是指可以进行任意的处理。
  3. mapPartitionsWithIndex
    将待处理的数据以分区为单位发送到计算节点进行处理，这里的处理是指可以进行任意的处 理，哪怕是过滤数据，在处理时同时可以获取当前分区索引。
  4. flatMap
    将处理的数据进行扁平化后再进行映射处理，也称扁平映射。
  5. glom
    将同一个分区的数据直接转换为相同类型的内存数组进行处理，分区不变
  6. groupBy
    将数据根据指定的规则进行分组，分区默认不变，但是数据会被打乱重组，我们将这样的操作称为shuffle。极限情况下，数据可能被分在同一个分区中。一个组的数据在一个分区中，但并不是说一个分区中只有一个组。
    在这里插入图片描述
  7. filter
    将数据根据指定的规则进行筛选过滤，符合规则的数据保留，不符合规则的丢弃。当筛选后，分区不变，这样就可能导致数据不
最低0.47元/天 解锁文章
cluse_ld
关注
专栏目录
RDD常用转换算子和动作算子
qq_38497133的博客
08-06 2590
文章目录一 、转换算子1.map2. filter3.mapValues4. distinct、union、intersection5. reduceByKey、sortByKey、groupByKey6. flatMap 一 、转换算子 1.map 对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD 任何原RDD中的元素在新的RDD中都有且只有一个元素与之对应 输入分区和输出分区一一对应 //创建一个spark context对象 val conf:SparkConf = new Spark
Spark RDD转换算子与行动算子
m0_51691291的博客
12-30 1287
Spark RDD转换算子与行动算子1、什么是RDD1.1、RDD五大核心属性2、RDD转换算子2.1、单value2.2、双value2.3、Key-Value3、RDD行为算子 1、什么是RDD   RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。 弹性 存储的弹性：内存与磁盘的自动切换； 容错的弹性：数据丢失可以自动恢复； 计算的弹性：计
sparkRDD操作，转换算子和行动算子
严同学在努力
03-30 547
Spark常用的RDD转换和行动算子
spark转换算子和行动算子的区别
weixin_42496757的博客
04-19 3863
转换算子和行动算子的区别： 转换算子返回的是一个新的RDD。行动算子返回的不是RDD，可能是map，list，string等，也可以没有返回。 转换算子相当于逻辑的封装。行动算子调用sc.runjob执行作业，是对逻辑计算产生结果。 sortBy算子 既有转换又有行动的功能，产生一个job，返回一个新的RDD。 ...
Spark RDD Operations(操作)转换算子与动作算子
qq_42346966的博客
02-23 806
RDD支持两种类型的操作： transformations-转换算子，将⼀个已经存在的RDD转换为一个新的RDD，另外⼀种称为actions-动作算子 ，动作算子一般在执行结束以后，会将结果返回给Driver。在Spark中所有的transformations 都是lazy的，所有转换算子并不会立即执行，它们仅是记录对当前RDD的转换逻辑。仅当 Actions 算子要求将结果返回给Driver程...
spark基本函数- RDD转换算子和行动算子
张飞的博客
08-07 1799
文章目录一、RDD转换算子0.说明1.map2.mapPartitions3.mapPartitionsWithIndex4.flatMap5.glom6.groupBy7.filter8.sample-抽取数据9.distinct-去重10.coalesce-缩减扩大分区11. repartition-缩减扩大分区12.sortBy13.intersection-交集14.union-并集15.subtract-差集16.zip-拉链17.partitionBy-分区18.reduceByKey 一、RD
SparkRDD——转换算子
tyh1579152915的博客
05-19 2996
转换算子 一、单value型转换算子（只使用1个RDD）： 1、map 将数据进行转换，数据量不会增加和减少 2、mapPartitions 以分区为单位将一个分区内的数据进行批处理操作，且可以执行过滤操作 3、mapPartitionsWithIndex 功能类似mapPartiutions算子，只是加入了每个分区的索引，可以选择性的对某些分区进行操作 4、flatMap 扁平化操作，即将集合嵌套类型的数
Spark之RDD转换算子（transformation）大全
zp17834994071的博客
08-07 4548
前面已经给大家讲过RDD原理，今天就给大家说说RDD的转换算子有哪些，以便大家理解。 对于转换操作，RDD的所有转换都不会直接计算结果，仅记录作用于RDD上的操作，当遇到动作算子（Action）时才会进行真正计算，理解了转换算子的用途，那么接下来就不能理解哪些是转换算子了，通俗的说只要没有经过聚合或计算的算子，都可以当作转换算子。 常用转换算子 map 对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD 任何原RDD中的元素在新RDD中都有且只有一个元素与之对应 输入分区与输出分区一一对应 案
Spark核心编程—RDD算子(转换算子)
weixin_42570840的博客
06-13 1813
Spark核心编程、RDD转换算子
RDD转换算子、行动算子
qq_40333693的博客
11-04 738
RDD转换算子 对于转换操作，RDD的所有转换都不会直接计算结果 仅记录作用于RDD上的操作 当遇到动作算子（Action）时才会进行真正计算 RDD常用的转换算子-1 map算子 对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD 任何原RDD中的元素在新RDD中都有且只有一个元素与之对应 输入分区与输出分区一一对应 //将原RDD中每个元素都乘以2来产生一个新的RDD val a = sc.parallelize(1 to 9) val b = a.map(x => x * 2) a.
Spark--RDD转换算子&行动算子
小兔子乖乖
09-22 634
RDD算子一.RDD转换算子1）map2）mapPartitions3）mapPartitionsWithIndex 一.RDD转换算子 1）map 将处理的数据逐条进行映射转换，这里的转换可以是类型的转换，也可以是值的转换。 object Spark_rdd_01 { def main(args: Array[String]): Unit = { val conf = new SparkConf().setAppName("RDD").setMaster("local[*]")
RDD常见转化算子和行动算子
是我的博客啊
05-26 1038
/** * RDD被创建后是只读的，不允许被修改。spark提供了丰富的用于操作RDD的方法，这些方法被称为算子。 * 一个创建完成的RDD只支持两种算子：转化算子和行动算子。 * 转化算子： * 负责对RDD中的数据进行计算并转化为新的RDD。 * Spark中所有的转化算子都是惰性的，因为他们不会立即计算结果， * 而是记住对某个RDD的具体操作过程，直到遇到行动算子才会和行动算子一起执行。 */ 常见转化算子 val sparkConf = new SparkConf().setM
spark中的转换算子和行动算子区别(transformations and actions)
qq_27896233的博客
03-06 1763
spark转换算子和行动算子的区别
大数据--spark生态3--RDD介绍及其算子
数据挖掘+大数据研发+算法学习
06-06 589
一：RDD创建 1.1从文件系统中加载数据创建RDD 采用tex 1.2通过并行集合（数组）创建RDD
Spark的shell界面操作（RDD算子类型:转换算子，执行算子，控制算子）
徐磊的博客
02-07 800
目录 HADOOP和Spark生态圈 bin 目录下spark-shell 命令进入 Spark Shell 中算子的操作 （转换算子和执行算子） 单节点基于standload的进入方式 单节点基于yarn调度的进入方式 HADOOP和Spark生态圈 bin 目录下spark-shell 命令进入 Spark Shell 中算子的操作 （转换算子和执行算子） ...
spark中常见的RDD的转化操作和行动操作算子都有哪些？实用~
贾慧玉的博客
04-25 1735
RDD的常见的转化操作和行动操作算子，其实需要记一记，记住之后，编程的时候就不用在纠结得到的结果是一个RDD，还是一个运算结果。转化操作：对一个{1,2,3,4,4}的RDD转化操作map():将函数应用到RDD中的每一个元素，返回值构成新的RDD;flatmap():将函数应用于RDD中的每一个元素，并将返回的迭代器中的所有内容构成新的RDD，常用于切分单词；filter():根据条件过滤，返回新
RDD的转换（transsformations）和行动（actions）算子
weixin_43442298的博客
08-06 236
1.转换（transsformations）算子 1.1 基础转换算子（18个） map、flatMap、filter、distinct、mapPartitions、mapPartitionsWithIndex、union、intersection(交集运算）、subtract(差集运算)、coalesce、repartition、randomSplit、glom、zip、zipPartitions、zipWithIndex、zipWithUniqueid、sortBy 1.2 键值对转换算子(1.
RDD算子怎么区分转换算子和行动算子
bing13692468的博客
07-14 1285
textFile 既不是transformation 也不是 action 它是为生成RDD前做准备 算子： 指的就是RDD上的方法。 spark中的算子分为2类： (1)转换算子： transformation： 由RRD 调用方法 返回一个新的RDD (一直存在drive中因为没生成task) ​ 特点: ​ 生成新的rdd ​ lazy执行(不会立刻读取数据记录RDD之间的处理过程) (2)行动算子： action：触发读取数据 , 执行运算的函数 不会返回新的RDD ​ 当触发
RDD的行动算子
weixin_44870066的博客
03-23 650
RDD转换算子和RDD行动算子 转换算子：数据结构的转变，返回是新的一个RDD 行动算子：触发作业的执行，就是一个job 常见的行动算子有 1、reduce 函数签名 def reduce(f: (T, T) => T): T 函数说明：聚集 RDD 中的所有元素，先聚合分区内数据，再聚合分区间数据。 2、collect 函数签名 def collect(): Array[T] 函数说明：在驱动程序中，以数组 Array 的形式返回数据集的所有元素。 3、count 函数签名 def count():
sparkrdd转换算子
最新发布
03-18
以下是一些常见的Spark RDD转换算子： 1. map(func)：对RDD中的每个元素应用给定的函数，返回一个新的RDD，新RDD中的每个元素都是原RDD中元素经过函数处理后的结果。 2. filter(func)：对RDD中的每个元素应用给定...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值