RDD 操作算子Action

最新推荐文章于 2022-01-08 18:14:57 发布
最新推荐文章于 2022-01-08 18:14:57 发布
阅读量181 收藏
点赞数
分类专栏： spark 文章标签： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yjt1325/article/details/110407809
版权

Action算子

    在RDD上计算出来一个结果

    把结果返回给driver program或保存在文件系统 count() save

 

collect() 遍历整个RDD， 向driver program 返回RDD的内容

需要单机内存能够容纳下（因为数据会收归拷贝到driver）

take(n) 返回RDD的n个元素（同时尝试访问最少的partitions）

返回是随机无序的

top() 排序（根据RDD中数据的比较器）

foreach() 计算RDD中每个元素， 但不返回到本地， 配合println打印数据测试

 

jeremyyl
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark1.4.1 RDD算子详解
03-02
结合代码详细描述RDD算子的执行流程，并配上执行流程图
【Spark】RDD操作详解4——Action算子
Jason Ding的专栏
07-12 3381
本质上在Actions算子中通过SparkContext执行提交作业的runJob操作，触发了RDD DAG的执行。 根据Action算子的输出空间将Action算子进行分类：无输出、 HDFS、 Scala集合和数据类型。无输出foreach对RDD中的每个元素都应用f函数操作，不返回RDD和Array，而是返回Uint。 图中，foreach算子通过用户自定义函数对每个数据项进行操作。
sparkRDD：第3节 RDD常用的算子操作
dengmanzhou3124的博客
08-29 453
4. RDD编程API 4.1 RDD的算子分类 Transformation（转换）：根据数据集创建一个新的数据集，计算后返回一个新RDD；例如：一个rdd进行map操作后生了一个新的rdd。 Action（动作）：对rdd结果计算后返回一个数值value给驱动程序，或者把结果存储到外部存储系统（例如HDFS）中； 例如：collect算子将数据集的所有...
RDD算子操作
Enzo的探索之路
12-06 3233
1、RDD定义 RDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。 2、RDD的属性 1）一组分片（Pa...
Spark1.x RDD基本操作
Spark MLlib 机器学习
12-16 2055
1.   Spark1.x RDD基本操作   Spark官方文档： http://spark.apache.org/docs/latest/programming-guide.html#rdd-operations 1.1.   Transformations 1.1.1. 创建RDD 1、数组创建RDD 从普通数组创建RDD，里面包含了1到9这9个数字，它们分别在3个分区中。
RDD -- Actions算子
qq_40337206的博客
05-17 238
Actions算子 Actions算子会触发spark任务提交。一般拍电影时导演都会喊Action，Action有开始之意，这类算子固有开始任务之意。 reduce collect count first take takeSample takeOrdered saveAsTextFile saveAsSequenceFile saveAsObjectFile countByKey foreach...
【SparkCore篇03】RDD行动算子1
08-04
(1) 创建第一个RDD (2) 使用reduce算子聚合元素 (2) 打印结果 (2) 统计个数 (2) 返回第一个元素 (2) 返回前n个元素 (2) 返回
【SparkCore篇02】RDD转换算子1
08-04
1.map()：每次处理一条数据 2.mapPartition()：每次处理一个分区的数据，这个分区的数据处理完后，原RDD中分区的数据才 1. coalesc
Spark常用的算子以及Scala函数总结.pdf
05-17
Spark RDD 算子说明，分别讲述了Transformation和Action这两类的算子。
spark RDD操作详解
09-25
RDD即弹性分布式数据集，有容错机制并可以被并行操作的元素集合，具有只读、分区、容错、高效、无需物化、可以缓存、RDD依赖等特征。RDD只是数据集的抽象，分区内部并不会存储具体的数据。
Spark RDD 中常用的操作算子
weixin_43958974的博客
01-08 1362
前言 本期会讲解到 Spark 开发中大部分常见的操作算子，内容比较常用，建议大家先收藏。 学习目标 向Spark 传递函数 RDD 的转换算子 RDD 的行动算子 1. 向Spark 传递函数 Spark API 依赖 Driver 程序中的传递函数完成在集群上执行 RDD 转换并完成数据计算。在 Java API 中，函数所在的类需要实现 org.apache.spark.api.java.function 包中的接口。 Spark 提供了 lambda 表达式和 自定义 Funct.
[Spark基础]-- spark RDD操作算子详解（汇总）
欢迎来到我的博客，一起探索代码里的世界！
12-11 3661
一、aggregateByKey [Pair]   像聚合函数一样工作，但聚合应用于具有相同键的值。 也不像聚合函数，初始值不应用于第二个reduce。   列表变式 (1)def aggregateByKey[U](zeroValue: U)(seqOp: (U, V) ⇒ U, combOp: (U, U) ⇒ U)(implicit arg0: ClassTag[U]): RDD[...
RDD常用的算子操作
山海
07-11 672
什么是RDD        RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将数据缓存在内存中，后续的...
RDD算子
weixin_41812379的博客
10-30 631
RDD 的操作分为转化（Transformation）操作和行动（Action）操作。转化操作就是从一个 RDD 产生一个新的 RDD，而行动操作就是进行实际的计算。转换操作和行动操作一般也被叫做转换算子和行动算子。 RDD 的操作是惰性的，当 RDD 执行转化操作的时候，实际计算并没有被执行，只有当 RDD 执行行动操作时才会促发计算任务提交，从而执行相应的计算操作。 RDD转换算子 首先，我们需要理解一件事。这种算子所输入的往往是一个或多个函数，这个函数用来对转换算子所指定的数据做具体处理。例如： //
Spark RDD算子操作详解(持续更新中... ...)
weixin_46786414的博客
12-03 368
1、RDD操作详解 1.1 基本转换 map map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。 任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。 举例： scala> val a = sc.parallelize(1 to 9, 3) scala> val b = a.map(x => x*2) scala> a.collect res10: Array[Int] = Array(1, 2, 3, 4, 5, 6, 7, 8, 9) scal
RDD的算子大全
qq_41878423的博客
10-10 676
RDD的算子大全RDD的算子大全基础转换操作0. Spark初始化1.map操作2.flatMap操作3.filter操作4.distinct去重操作5.mapPartions操作6. mapPartionWithIndex 操作7.union操作8. intersection交集9. subtract差集10. cartesian 笛卡尔积11.repartion重新分区12. randomSplit按权重拆分13. glom分区变数组14.zip 拉链操作15.zipPartition操作16.zipW
RDD常用算子
qzc_root的博客
05-17 674
文章目录RDD转换算子map++aggregatebarriercache RDD转换算子 map 将处理的数据逐条进行映射转换，这里的转换可以是类型的转换，也可以是值的转换 ++ val rdd1 = sc.parallelize(1 to 10) val rdd2 = sc.parallelize(11 to 20) val a = rdd1 ++ rdd2 println(a.collect.mkString(",")) //1,2,3,4,5,6,7,8,9,10,11,12,13,14,15,16
RDD概述及算子大全
qq_45532779的博客
11-30 1561
RDD概述及算子 1.什么是RDD Spark是一个分布式数据集的分析框架，将计算单元缩小 为更适合分布式计算和并行计算的模型，称之为RDD RDD（Resilient Distributed Dataset）叫做弹性分布式 数据集，是Spark中最基本的数据（计算）抽象。 代码中是一个抽象类，它代表一个不可变、可分区、里面 的元素可并行计算的集合。 2.RDD的属性 一组分区（Partition）即数据集的基本组成单位 一个计算各个分区间的函数 一个有关于各个RDD间依赖关系的列表
算子操作 学习
伏虎游侠的博客
05-11 845
map()是将函数用于RDD中的每个元素，将返回值构成新的RDD。 flatmap()是将函数应用于RDD中的每个元素，将返回的迭代器的所有内容构成新的RDD,这样就得到了一个由各列表中的元素组成的RDD,而不是一个列表组成的RDD。 有些拗口，看看例子就明白了。 val rdd = sc.parallelize(List("coffee panda","happy panda","
transformation算子与action算子的关系
最新发布
07-13
在Spark中，Transformation算子和Action算子是两种不同的操作类型，它们在RDD上执行不同的操作，并且它们之间有一些关系。 Transformation算子是一种惰性操作，它们不会立即执行，而是返回一个新的RDD。这些算子...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值