11.RDD行动算子

最新推荐文章于 2024-07-22 09:50:02 发布
最新推荐文章于 2024-07-22 09:50:02 发布
阅读量86 收藏
点赞数
分类专栏： Spark学习笔记概念 文章标签： scala spark big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/GCPOP/article/details/125325633
版权

RDD行动算子

1. RDD行动算子

1.1概述

  • spark的算子可以分为trans action算子 以及 action算子 ，即变换/转换 算子。如果执行一个RDD算子并不触发作业的提交，仅仅只是记录作业中间处理过程，那么这就是trans action算子 ，相反如果执行这个 RDD 时会触发 Spark Context 提交 Job 作业，那么它就是 action算子及行动算子。总结来说就是在Spark中，转换算子并不会马上进行运算的，即所谓的“惰性运算”，而是在遇到行动算子时才会执行相应的语句的，触发Spark的任务调度并开始进行计算。

1.2 reduce

  • 函数签名

    def reduce(f: (T, T) => T): T

  • 函数说明

    • 聚集RDD中的所有元素，先聚合分区内数据，再聚合分区间数据
        // 一个应用程序, Driver程序
    val conf = new SparkConf().setMaster("local[*]").setAppName("RDD")
    val sc = new SparkContext(conf)

    // TODO 算子 - 行动
    val rdd = sc.makeRDD(List(1,4,3,2),2)

    // reduce算子
    val i: Int = rdd.reduce(_ + _)
    println(i)

1.3 collect

  • 函数签名

    def collect(): Array[T]

  • 函数说明

    在驱动程序（Driver）中，以数组Array的形式返回数据集的所有元素
val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))

  • 函数实例

    package com.gec.demo1
import org.apache.spark.{SparkConf, SparkContext}

object Spark01_RDD_Oper_Action {

  def main(args: Array[String]): Unit = {

    // 一个应用程序, Driver程序
    val conf = new SparkConf().setMaster("local[*]").setAppName("RDD")
    val sc = new SparkContext(conf)

    // TODO 算子 - 行动
    val rdd = sc.makeRDD(List(1,2,3,4))

    // Spark RDD方法分为2大类，其中一个是转换算子，一个为行动算子
    // 行动算子在被调用时，会触发Spark作业的执行
    // collect算子就是行动算子
    // 行动算子执行时，会构建新的作业
    val ints: Array[Int] = rdd.collect()
    ints.foreach(println)
    //rdd.collect() // new job
    sc.stop()
  }

}

1.4 count

  • 函数签名

    def count(): Long

  • 函数说明

    • 返回RDD中元素的个数

      val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))

  • 实例

        // 一个应用程序, Driver程序
    val conf = new SparkConf().setMaster("local[*]").setAppName("RDD")
    val sc = new SparkContext(conf)
    // TODO 算子 - 行动
    val rdd = sc.makeRDD(List(1,4,3,2),2)
    val l: Long = rdd.count()
    println(l)

1.5 first

  • 函数签名

    def first(): T

  • 函数说明

    • 返回RDD中的第一个元素

      val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))

  • 实例

        // 一个应用程序, Driver程序
    val conf = new SparkConf().setMaster("local[*]").setAppName("RDD")
    val sc = new SparkContext(conf)

    val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))
    val firstResult: Int = rdd.first()
    println(firstResult)
    sc.stop()

1.6 take

  • 函数签名

    def take(num: Int): Array[T]

  • 函数说明

    • 返回一个由RDD的前n个元素组成的数组
    vval rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))

  • 函数实例

    // 返回RDD中元素的个数
val takeResult: Array[Int] = rdd.take(2)
println(takeResult.mkString(",")=)

1.7 takeOrdered

  • 函数签名

    def takeOrdered(num: Int)(implicit ord: Ordering[T]): Array[T]

  • 函数说明

    • 返回该RDD排序后的前n个元素组成的数组

      val rdd: RDD[Int] = sc.makeRDD(List(1,3,2,4))

  • 函数实例

    • 返回该RDD排序后的前n个元素组成的数组
    val rdd: RDD[Int] = sc.makeRDD(List(1,3,2,4))
// 返回RDD中元素的个数
val result: Array[Int] = rdd.takeOrdered(2)

1.8 aggregate

  • 函数签名

    def aggregate[U: ClassTag](zeroValue: U)(seqOp: (U, T) => U, combOp: (U, U) => U): U

  • 函数说明

  • 分区的数据通过初始值和分区内的数据进行聚合，然后再和初始值进行分区间的数据聚合

  • 函数实例

         // 一个应用程序, Driver程序
        val conf = new SparkConf().setMaster("local[*]").setAppName("RDD")
        val sc = new SparkContext(conf)
        // TODO 算子 - 行动
        val rdd = sc.makeRDD(List(1,4,3,2),2)

        // aggregate & aggregateByKey的区别？
        // 1. 数据格式
        // 2. aggregateByKey是一个转换算子，所以执行后会产生新的RDD
        //    aggregate是一个行动算子，所以执行后会得到结果
        // 3. aggregateByKey执行计算时，初始值只会参与分区内计算
        //    aggregate执行计算时，初始值会参与分区内计算,也会参与分区间的计算
        //  【1，4】，【3，2】
        //  【5，1，4】，【5，3，2】
        // 【10】【10】
        // 【5， 10， 10】
        val i: Int = rdd.aggregate(5)(_ + _, _ + _)
        val j: Int = rdd.fold(5)(_ + _)
        val k: Int = rdd.reduce(_ + _)

1.9 fold

  • 函数签名

    def fold(zeroValue: T)(op: (T, T) => T): T

  • 函数说明

    • 折叠操作，aggregate的简化版操作
    val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4))
val foldResult: Int = rdd.fold(0)(_+_)

  • 函数实例

        // 一个应用程序, Driver程序
    val conf = new SparkConf().setMaster("local[*]").setAppName("RDD")
    val sc = new SparkContext(conf)

    val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4), 2)

    val j: Int = rdd.fold(5)(_ + _)

    println(j)

1.10 countByKey

  • 函数签名

    def countByKey(): Map[K, Long]

  • 函数说明

    • 统计每种key的个数

      val rdd: RDD[(Int, String)] = sc.makeRDD(List((1, "a"), (1, "a"), (1, "a"), (2, "b"), (3, "c"), (3, "c")))

  • 函数实例

    // 一个应用程序, Driver程序
    val conf = new SparkConf().setMaster("local[*]").setAppName("RDD")
    val sc = new SparkContext(conf)

    // TODO 算子 - 行动
    val rdd = sc.makeRDD(List(1,4,3,2),2)

    // countByKey算子表示相同key出现的次数
    val rdd1: RDD[(String, Int)] = rdd.map(("a", _))
    // (a, 1), (a, 4), (a, 3), (a, 2)
    // (a, 4) => (a, 1),(a, 1),(a, 1),(a, 1)
    // (a, 10)

    // TODO countByKey算子可以实现 WordCount (7 / 10)
    val map: collection.Map[String, Long] = rdd1.countByKey()
    println(map)

    sc.stop()

1.11 countByValue

  • 函数签名

    def countByValue(): Map[K, Long]

  • 函数说明

  • 根据rdd中的元素值相同的个数。返回的类型为Map[K,V], K : 元素的值，V ：元素对应的的个数

  • 函数实例

        // 一个应用程序, Driver程序
        val conf = new SparkConf().setMaster("local[*]").setAppName("RDD")
        val sc = new SparkContext(conf)

        // TODO 算子 - 行动
        //val rdd = sc.makeRDD(List(1,1,1,1,2,2,3),2)
        val rdd = sc.makeRDD(List(
            ("a", 2), ("a", 3)
        ),2)

        // countByKey算子表示相同key出现的次数
        //val rdd1: RDD[(String, Int)] = rdd.map(("a", _))

        // countByValue中Value不是KV键值对中的v的意思
        // 单value，双value，K-V
        // TODO countByValue可以实现 WordCount (8 / 10)

        // ("a", 2) => "a", "a"
        // ("a", 3) => "a", "a", "a"

        // ( a, 5 )
        val map = rdd.countByValue()

        println(map)

1.11 save相关算子

  • 函数签名

    def saveAsTextFile(path: String): Unit

def saveAsObjectFile(path: String): Unit

def saveAsSequenceFile(
 path: String,
 codec: Option[Class[_ <: CompressionCodec]] = None): Unit

  • 函数说明

将数据保存到不同格式的文件中
// 保存成Text文件
rdd.saveAsTextFile("output")
// 序列化成对象保存到文件
rdd.saveAsObjectFile("output1")
// 保存成Sequencefile文件
rdd.map((_,1)).saveAsSequenceFile("output2")

  • 函数实例

     // TODO 算子 - 行动
val rdd = sc.makeRDD(List(
            ("a", 2), ("a", 3)
),2)

rdd.saveAsTextFile("output")
rdd.saveAsObjectFile("output1")
rdd.saveAsSequenceFile("output2")

1.12 foreach

  • 函数签名

    def foreach(f: T => Unit): Unit = withScope {

  val cleanF = sc.clean(f)

  sc.runJob(this, (iter: Iterator[T]) => iter.foreach(cleanF))

}

  • 函数说明

    • 分布式遍历RDD中的每一个元素，调用指定函数

      val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))

  • 函数实例

    // 收集后打印

rdd.map(num=>num).collect().foreach(println)

 

println("****************")

 
// 分布式打印

rdd.foreach(println)
GC??
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark 之 RDD行动算子
向日葵的博客
12-02 1556
RDD行动算子前言Spark 知识系列文章一、 RDD行动算子1.1 reduce(func)案例1.2 collect()案例1.3 count()案例1.4 first()案例1.5 take(n)案例1.6 takeOrdered(n)案例1.7 aggregate案例1.8 fold(num)(func)案例1.9 saveAsTextFile(path)1.10 saveAsSequenceFile(path)1.11 saveAsObjectFile(path)1.12 countByKey(
Spark—常用的RDD行动算子
To_9426464的博客
02-18 499
系列文章目录 提示：这里可以添加系列文章的所有文章的目录，目录需要自己手动添加 例如：第一章 Python 机器学习入门之pandas的使用 提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录系列文章目录前言一、pandas是什么？二、使用步骤1. reduce2. collect3. count4. first5. take6. takeOrdered7. aggregate8. fold9. countByKey10. save 相关算子11. foreach总结 前言 提
Spark学习04——RDD行动算子
shengpli′s blog
09-19 554
所有RDD行动算子如下： aggregate、collect、count、first、foreach、reduce、take、takeOrdered、takeSample、saveAsObjectFile、saveAsTextFile 具体解释和例子 1. aggregate 概念 1.将每个分区里面的元素进行聚合，然后用combine函数将每个分区的结果和初始值(zeroValue)进行comb...
Spark RDD 行动算子
m0_55834564的博客
06-25 365
1.reduce代码： 2.collect代码： 3.count代码： 4.first代码： 5.take代码： 6.takeOrdered代码： 7.aggregate代码： 8.fold代码： 9.countByKey代码： 10.save 相关算子 11.foreach
【Spark】RDD行动算子
beautiful_huang的博客
02-05 999
文章目录简介所有RDD行动算子：数据运算类行动算子reduce——Reduce操作aggregate——聚合操作 简介 在Spark中转换算子并不会马上进行运算的，即所谓的“惰性运算”，而是在遇到行动算子时才会执行相应的语句的，触发Spark的任务调度开始进行计算。 所有RDD行动算子： aggregate、collect、count、first、foreach、reduce、take、take...
Spark RDD之行动算子详解
lixinkuan的博客
09-20 1970
一、前述 Action类算子也是一类算子（函数）叫做行动算子，如foreach,collect，count等。Transformations类算子是延迟执行，Action类算子是触发执行。一个application应用程序（就是我们编写的一个应用程序）中有几个Action类算子执行，就有几个job运行。 二、具体 原始数据集： 1、count：返回数据集中的元素数。会在结果计算完...
rdd之行动算子
weixin_43810802的博客
10-15 586
行动算子就是会触发action的算子，触发action的含义就是真正的计算数据。 一些行动算子collectreduceaggregateforeachcounttakeOrderedmin collect collect就是将executor端的数据收集到driver端。 比如一个简单的wordcount程序： object CollectAction { def main(args: Array[String]): Unit = { val conf: SparkConf = new Spa
RDD的行动算子
weixin_44870066的博客
03-23 604
RDD转换算子和RDD行动算子 转换算子：数据结构的转变，返回是新的一个RDD 行动算子：触发作业的执行，就是一个job 常见的行动算子有 1、reduce 函数签名 def reduce(f: (T, T) => T): T 函数说明：聚集 RDD 中的所有元素，先聚合分区内数据，再聚合分区间数据。 2、collect 函数签名 def collect(): Array[T] 函数说明：在驱动程序中，以数组 Array 的形式返回数据集的所有元素。 3、count 函数签名 def count():
[ Spark ] RDD行动算子汇总
jason_bone_的博客
06-14 285
行动算子:触发作业执行的方法,底层调用的是环境对象的runJob方法,底层代码中会创建ActiveJob,并提交执行1)def reduce(f: (T, T) => T): T​ 先聚合分区内数据，再聚合分区间数据,这里聚合的结果的类型和数据源中的类型一致2)def collect(): Array[T]​ 将不同分区的数据按照分区顺序采集到Driver端内存中,形成数组3)def count(): Long​ 返回RDD中元素的个数4)def first(): T​ 返回RDD中的第一个元素5)def
【SparkCore篇03】RDD行动算子1
08-04
本篇主要讲解RDD的行动算子，包括`reduce`、`collect`、`count`、`first`、`take`、`takeOrdered`、`aggregate`和`fold`。 1. `reduce`算子： `reduce`用于聚合RDD中的所有元素，它接受一个函数 `(x, y) => (x+y)`...
RDD编程初级实践数据.rar
06-07
4. **优化**：使用`行动算子`避免创建大量中间RDD，使用`宽依赖`和`窄依赖`理解任务的并行性，以及利用`Stage`优化计算流程。 5. **性能调优**：理解Spark的配置参数，如`spark.executor.memory`、`spark.shuffle....
RDD&SparkCore笔记.docx
07-26
- **延迟计算**：RDD的计算基于血缘关系，只有在触发行动算子时才实际执行计算。 - **持久化**：通过缓存或检查点，可以提高重复计算的效率，减少不必要的数据重建。 4. **RDD的操作** - **转换算子**：如map、...
Spark算子的详细使用方法
12-05
Spark 算子可以分为两类：Transformation 变换/转换算子和 Action 行动算子。 Transformation 变换/转换算子并不触发提交作业，完成作业中间过程处理。Action 行动算子会触发 SparkContext 提交 Job 作业。 ...
java-spark中各种常用算子的写法示例
08-27
Spark 中的算子可以分为两大类：Transformation 变换/转换算子和 Action 行动算子。Transformation 算子并不触发提交作业，完成作业中间过程处理，而 Action 算子会触发 SparkContext 提交 Job 作业。 在 Java 中...
Perl 哈希
最新发布
07-22 465
Perl 哈希是一种关联数组，其中每个元素都是一个键值对。键是唯一的，用于访问对应的值。哈希的键和值可以是任何类型的数据，包括数字、字符串和引用。哈希通常用于存储和检索数据，以及实现复杂的数据结构。
深入探索Perl中的函数定义与调用机制
2402_85762143的博客
07-19 764
在Perl中，函数定义使用sub关键字开始，后跟函数名和一对花括号{}，花括号内是函数体。函数名可以是任何有效的Perl标识符，通常使用小写字母和下划线。# 函数体\n";Perl的函数定义和调用机制非常灵活，支持多种参数传递方式、返回值处理、函数引用、递归调用等特性。通过合理使用函数，你可以编写出清晰、高效、可重用的代码。Perl的模块化特性也使得代码组织更加有序，易于维护和扩展。通过本文的介绍，你应该对Perl中的函数有了更深入的理解。
Perl 基础语法
lly202406的博客
07-21 563
本文介绍了 Perl 编程语言的基础语法，包括变量、数据类型、控制结构、函数、正则表达式、文件操作、面向对象编程以及模块和包的使用。这些基础知识是掌握 Perl 编程的关键。随着对 Perl 的深入了解，您可以探索更多高级特性和应用场景。
构建Scala项目的魔法：Gradle中配置Scala插件
2401_85341950的博客
07-18 1234
Scala 是一种高级的多范式编程语言，它集成了面向对象编程和函数式编程的特点。Scala 代码可以与 Java 代码无缝集成，运行在标准的 Java 虚拟机（JVM）上。这使得 Scala 成为构建高性能应用程序的理想选择。通过本文的详细介绍，你应该已经了解了如何在 Gradle 中配置 Scala 插件的基本步骤和操作。Scala 插件为 Gradle 提供了对 Scala 项目的全面支持，使得构建和管理 Scala 项目变得简单和高效。希望本文能帮助你在实际应用中更好地配置和使用 Scala 插件。
sparkrdd算子
03-18
2. 行动算子： - count()：返回RDD中元素的个数。 - collect()：将RDD中的所有元素以数组的形式返回到驱动程序中。 - reduce(func)：使用给定的函数逐个聚合RDD中的元素。 - first()：返回RDD中的第一个元素。 ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值