RDD的Action算子详细笔记，对比学习

最新推荐文章于 2024-06-02 13:30:46 发布
最新推荐文章于 2024-06-02 13:30:46 发布
阅读量525 收藏 2
点赞数 2
分类专栏： PySpark 文章标签： 学习 scala big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/phthon1997/article/details/124748059
版权

文章目录

Action算子

1.countByKey算子：统计key出现的次数（一般用在kv型RDD）

在这里插入图片描述

2.collect算子：将RDD各个分区的内容收集到Driver，形成一个list对象

在这里插入图片描述

3.reduce算子：对RDD数据按照你传入的逻辑进行聚合

在这里插入图片描述

4.fold算子：和reduce差不多，只是加上了一个初始值

在这里插入图片描述

5.first算子：就是取出第一个元素

在这里插入图片描述

6.take算子：取RDD前N个元素，返回一个list

在这里插入图片描述

7.top算子：对RDD数据集进行降序排序，取前N个

在这里插入图片描述

8.count算子：计算RDD有多少条数据，返回值是一个数字

在这里插入图片描述

9.takeSample算子：随机抽样RDD的数据

在这里插入图片描述
在这里插入图片描述

10.takeOrdered算子：对RDD数据排序之后取前N个

在这里插入图片描述

11.foreach算子：对RDD每一个元素，进行你提供的逻辑操作，和map差不多，只不过没有返回值在这里插入图片描述
12.saveAsTextFile：将RDD数据写入到文本文件中

在这里插入图片描述
在这里插入图片描述

13.mapPartitions算子：和map差不多，但是map是一个一个操作，而这里是一个分区一个分区一起操作，io效率更高

在这里插入图片描述

14.foreachPartition算子：分区，map，没返回值

在这里插入图片描述

15.partitionBy算子： 对RDD自定义分区操作

在这里插入图片描述

16.repartition算子：对RDD重新分区

在这里插入图片描述

总结：

1.groupByKey和reduceByKey的区别

首先，在功能上
在这里插入图片描述
其次，在性能上
在这里插入图片描述
上图一共会产生12次IO操作。
在这里插入图片描述
上图一共会产生6次IO操作。

在这里插入图片描述
在这里插入图片描述

小鱼编程
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
Spark算子：RDD常用的10种action算子 & 3种常见保存路径
攻城狮Kevin
02-18 1405
目录 1. reduce（func） 2. collect（） 3. count（） 4. first（） 5. take（n） 6. takeOrdered（n） 7. aggregate（） 8. fold（num）（func） 9. 三种常用RDD元素保存路径 10. countByKey 11. foreach（func）、foreachPartition（func）...
Action行动算子
LssTwl的博客
01-25 712
Action行动算子 概念：Action类算子也是一类算子（函数）叫做行动算子，如foreach,collect，count等。Transformations类算子是延迟执行，Action类算子是触发执行。一个application应用程序中有几个Action类算子执行，就有几个job运行 常用算子: count: 返回数据集中的元素数。会在结果计算完成后回收到Driver端 t...
RDD与Java实战：学生列表，先按性别降序，再按年龄降序排列
最新发布
howard2005的专栏
06-02 349
两种实现方式各有优势：Scala + RDD的方式适合于大规模数据集的分布式处理，而Java的方式则适合于单机环境下的数据排序任务。通过本实战任务，我们可以更好地理解不同编程语言和工具在数据处理任务中的应用和优势。
RDD的行动（Action）操作
Nice的博客
09-11 1777
1. reduce(func) 通过func函数聚集RDD中的所有元素，这个功能必须是可交换且可并联的 scala> val rdd1 = sc.makeRDD(1 to 10,2) rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[85] at makeRDD at <console>:24 scala...
RDD 常见Action算子入门及应用
鸭梨的博客
11-17 264
reduce 1 参数为函数,该函数的返回值类型为T,2个参数类型也是T 2方法reduce的返回值类型也是T 比如T为Int. 函数为(x,y)=>x+y .就是说x类型为Int,y类型为Int. x+y的结果也是Int. reduce函数的返回也是Int scala> val a = sc.parallelize(1 to 10,2) a: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[0] at parallelize at
transformation、action算子代码示例
10-13
适合新手练习，大数据的核心内容Spark Core算子操作。
Spark1.4.1 RDD算子详解
03-02
结合代码详细描述RDD算子的执行流程，并配上执行流程图
【SparkCore篇02】RDD转换算子1
08-04
以下是关于这些算子的详细说明： 1. **map()**：map算子用于对RDD（Resilient Distributed Dataset）中的每个元素进行操作。它接受一个函数作为参数，这个函数会应用到RDD的每一个元素上，然后返回一个新的RDD，其...
【SparkCore篇03】RDD行动算子1
08-04
本篇主要讲解RDD的行动算子，包括`reduce`、`collect`、`count`、`first`、`take`、`takeOrdered`、`aggregate`和`fold`。 1. `reduce`算子： `reduce`用于聚合RDD中的所有元素，它接受一个函数 `(x, y) => (x+y)`...
SparkTransformation和Action算子速查表.zip
07-06
Spark的核心概念之一就是它的Transformation和Action算子，这是编程模型的基础，用于构建分布式数据处理作业。这份“Spark Transformation和Action算子速查表”提供了Spark开发人员在日常工作中快速参考的关键信息。...
Spark学习笔记—Spark计算模型
01-07
RDD是Spark核心数据结构，它是逻辑集的实体，在集群中多台机器之间进行数据分区，通过对多台机器上RDD分区的控制，能够减少数据的重排(data Shuffling)。Spark通过partitionBy运算符对原始RDD进行数据再分配从而创建...
RDD的action操作到底指的是什么
JaneRoad
02-22 432
RDD创建后就可以在RDD上进行数据处理。RDD支持两种操作：转换（transformation），即从现有的数据集创建一个新的数据集；动作（action），即在数据...
RDD的两种操作算子
dsl200970的博客
04-12 6509
RDD支持两种类型的操作算子:Transformation(转换)与Action(行动)。 1、Transformation(变换) Transformation操作会由一个RDD生成一个新的 RDD。Transformation操作是延迟计算的，也就是说从一个RDD转换生成另一个RDD的转换操作不是马上执行，需要等到Actions操作时，才真正开始运算。
Spark的Transform算子和Action算子列举和示例
spark的自由牧场的博客
08-22 8288
参考资料：http://www.cnblogs.com/zlslch/p/5723857.html ：http://www.cnblogs.com/liuzhongfeng/p/5285613.htmlSpark 算子概念 Transformation 变换/转换：这种变换并不触发提交作业，完成作业中间过程处理。Transformation 操作是延迟计算的，也就是说从
Spark：java-spark中常用RDD之经典Action类算子
不花的花和尚的博客
09-19 737
场景 常用action类算子的用法举例 分析 spark中常用的action类算子有（cccf rst熟记）： count、countByKey、collect、foreach reduce、saveAsTextFile 、take  等。 这里以 saveAsTextFile、collect与foreach算子的用法为例加以详细说明。 saveAsTextFile：将rdd中的数据以...
Spark（4）RDD编程中的transformation算子和action算子使用与区别详解
weixin_43230682的博客
08-04 1844
前言 在上一篇文章中我们介绍了什么是RDD，以及RDD的属性、特征、依赖关系和缓存机制等等： Spark（3）架构原理、运行流程、RDD 那么，本文继续重点介绍一下RDD两类算子的使用。 一、编程模型 在Spark中，RDD被表示为对象，通过对象上的方法调用来对RDD进行转换。经过一系列的transformations定义RDD之后，就可以调用actions触发RDD的计算，action可以是向应用程序返回结果(count, collect等)，或者是向存储系统保存数据(saveAsTextFil
spark transformation和action算子
Xlucas的博客
08-30 5208
spark transformation和action的算子 map(func) 返回一个新的分布式数据集，由每个原元素经过func函数处理后的新元素组成 filter(func) 返回一个新的数据集，由经过func函数处理后返回值为true的原元素组成 flatMap(func) 类似于map，但是每一个输入元素，会被映射为0个或多个输出元素，(因此，func函数的返回值是一个seq，
Spark算子：RDD行动Action操作(1)–first、count、reduce、collect
羽翼天宇
08-01 1232
Spark算子：RDD行动Action操作(1)–first、count、reduce、collect   关键字：Spark算子、Spark RDD行动Action、first、count、reduce、collectfirst def first(): T first返回RDD中的第一个元素，不排序。     scala&gt; var rdd1 = sc.makeRDD(Arra...
Transformations算子 , Action算子 , 控制算子（cache,persist,checkpoint）
秋雨ヾ的博客
05-30 852
1.Transformations 转换算子 2. Action 行动算子
sparkrdd转换算子
03-18
Spark RDD（弹性分布式数据集）是Spark中最基本的数据抽象，它代表了一个不可变、可分区、可并行计算的数据集合。转换算子是用于对RDD进行转换操作的方法，可以通过转换算子对RDD进行各种操作和变换，生成新的RDD。 以下是一些常见的Spark RDD转换算子： 1. map(func)：对RDD中的每个元素应用给定的函数，返回一个新的RDD，新RDD中的每个元素都是原RDD中元素经过函数处理后的结果。 2. filter(func)：对RDD中的每个元素应用给定的函数，返回一个新的RDD，新RDD中只包含满足条件的元素。 3. flatMap(func)：对RDD中的每个元素应用给定的函数，返回一个新的RDD，新RDD中的每个元素都是原RDD中元素经过函数处理后生成的多个结果。 4. union(other)：返回一个包含原RDD和另一个RDD中所有元素的新RDD。 5. distinct()：返回一个去重后的新RDD，其中不包含重复的元素。 6. groupByKey()：对键值对RDD进行分组，返回一个新的键值对RDD，其中每个键关联一个由具有相同键的所有值组成的迭代器。 7. reduceByKey(func)：对键值对RDD中具有相同键的值进行聚合操作，返回一个新的键值对RDD，其中每个键关联一个经过聚合函数处理后的值。 8. sortByKey()：对键值对RDD中的键进行排序，返回一个新的键值对RDD，按照键的升序排列。 9. join(other)：对两个键值对RDD进行连接操作，返回一个新的键值对RDD，其中包含两个RDD中具有相同键的所有元素。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值