Spark系列四： 基本RDD----行动操作

最新推荐文章于 2022-01-07 10:01:22 发布
最新推荐文章于 2022-01-07 10:01:22 发布
阅读量631 收藏 1
点赞数
分类专栏： spark
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_20417499/article/details/105016221
版权
本文深入探讨Spark的基本RDD行动操作，包括reduce用于计算元素总和及聚合，aggregate实现累加并合并，以及collect、top、count等实用方法。同时，文章还介绍了如何利用持久化提升效率，确保数据在节点故障时能够被重新计算。
摘要由CSDN通过智能技术生成

Spark系列三： 基本RDD----转化操作

最常见的行动操作：

reduce()：接收一个函数作为参数，操作两个RDD的元素类型的数据并返回一个同样类型的新元素。

简单的例子就是函数+，可以用它来对我们的RDD进行累加。

reduce()可以很方便的计算出RDD中所有元素的总和、元素的个数，以及其他类型的聚合操作。

要求函数的返回值类型与我们所操作的RDD中的元素类型相同。

 

aggregate()：需要提供我们期待返回的类型的初始值。然后通过一个函数把RDD中的元素合并起来放入累加器。

考虑到每个节点是在本地进行累加的，最终还需要提供第二个函数来将累加器两两合并。

可以用aggregate()来计算RDD的平均值

 

RDD的一些行动操作会以普通集合或者值的形式将RDD的部分或者全部数据返回驱动器程序中。

collect()：将整个RDD的内容返回，通常

最低0.47元/天 解锁文章
ziqiiii
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
RDD操作
zhang_zero的博客
12-13 2289
RDD的内部运行方式 RDD(Resilient Distributed Datasets) 是一个容错的，并行的数据结构，可以让用户显式的将数据存储到磁盘和内存中，并能控制数据的分区 提供了一组丰富的操作来操作数据 本质是一个只读的分区记录集合，一个RDD可以包含多个分区，每个分区是一个DataSet片段 RDD之间可以相互依赖（窄依赖，宽依赖） RDD的分区 通过不同的分区，将数据实际映射到不同的Spark节点上 RDD的特点 只读不能修改：只能通过转换操作生成一个新的RDD 分布式存储：一
RDD行动操作
little_nai的博客
12-05 1218
行动操作是第二种类型的RDD操作，它们会把最终求得的结果返回到驱动器程序中，或者写入外部存储系统中。 常见的RDD行动操作： 1. reduce（） ：它接收一个函数作为参数，这个函数要操作两个相同的元素类型的RDD数据并返回一个同样类型的新元素。一个简单的例子就是函数+，可以用它来对我们的RDD进行累加。使用reduce课以很方便地计算出RDD中所有元素的总和，元素个数，以及其他类型的聚合操
RDD的行动操作
weixin_30364147的博客
08-30 108
1.定义：触发Job，调用runJob()方法： 　　比如：collect、count 2.foreach 　　说明：将结果返回值执行器节点，而非驱动器 3.aggregate 　　def aggregate[U: ClassTag](zeroValue: U)(seqOp: (U, T) => U, combOp: (U, U) => U)...
SparkRDD的行动操作
Allwordhuier的博客
09-24 228
和转化操作类似，所有简单 RDD 支持的行动操作在键值对 RDD 上也是管用的，同时它还有一些更加编辑的行动操作。 countByKey() 对每个键对应的元素分别计数。 在 spark-shell 中输入如下代码： 截图如下：0 l lookup() 返回给定键对应的所有值。 在 spark-shell 中输入如下代码： 截图如下： collectAsMap() 将结果以映射表的形式返回，方便查询。 在 spark-shell 中输入如下代码： 截...
rdd行动操作
Frank
05-11 545
1）reduce reduce(func)是对数据集的所有元素执行聚集(func)函数，该函数必须是可交换的。val rdd1 = sc.parallelize(1 to 9, 3) val rdd2 = rdd1.reduce(_ + _) rdd2: Int = 452）collect collect是将数据集中的所有元素以一个array的形式返回。rdd1.collect() res8:
playing-with-spark-rdd:Apache Spark RDD示例
03-21
项目中的"playing-with-spark-rdd-master"可能包含一系列示例代码，展示了如何创建、操作和转换RDD。这些示例可能涵盖以下内容： 1. **创建RDD**：RDD可以通过加载文件（如文本文件、CSV、JSON等）或者通过并行化...
PySpark-Boilerplate:编写PySpark作业的样板
05-17
- **懒评估**: PySpark采用延迟计算，只有在行动操作（如count、save）时才会触发实际计算。 - **管道式编程**: 一系列转换操作可以链接起来，形成一个计算管道。 - **数据分区与并行性**: 分区策略影响性能，合理...
RDD-
03-05
5. **懒评估**：RDD的转换操作不会立即执行，只有在触发行动操作（如save、count、collect等）时，才会启动计算。 **四、RDD操作** RDD支持两种主要的操作类型： 1. **转换操作**（Transformation）：如map、...
spark-scala-tutorial：Apache Spark的免费教程
02-05
此外，Spark 还提供了行动操作（actions），用于触发实际的计算并将结果返回给驱动程序。 在 Scala 中使用 Spark，你需要创建一个 SparkContext，它是与 Spark 集群通信的入口点。`SparkConf` 类用于配置 Spark ...
spark-sdk.zip
03-20
接下来，可以使用`SparkContext`提供的方法加载数据，创建RDD，并对RDD进行转换和行动操作。 总结来说，Spark SDK是开发Spark应用的基础，它提供了丰富的工具和API，使开发者能够便捷地构建高性能的大数据处理应用...
[scala-spark]12. RDD行动操作
沈春旭的博客
09-23 877
first first返回RDD中的第一个元素，不排序。 scala> var rdd1 = sc.makeRDD(Array(("A","1"),("B","2"),("C","3")),2) scala> rdd1.first res1: (String, String) = (A,1) count count返回RDD中的元素数量。 scala> var rdd1...
Spark核心编程-RDD行动操作
上海一九四三
08-11 642
一、集合标量行动操作 first: 返回RDD中第一个元素，不排序 count: 返回RDD中元素数量 reduce: 根据映射函数，对RDD进行计算 collect: 将RDD转化为数组 take(num): 获取RDD中从0到num-1下标的元素，不排序 top(num): 按照默认降序排序的或者指定规则排序返回前num个元素 takeOrdered(num): 和top类似，只...
Spark核心编程创建RDD及transformation和action详解和案例
闵浮龙的博客
05-12 547
创建RDD 进行Spark核心编程时，首先要做的第一件事，就是创建一个初始的RDD。该RDD中，通常就代表和包含了Spark应用程序的输入源数据。然后在创建了初始的RDD之后，才可以通过Spark Core提供的transformation算子，对该RDD进行转换，来获取其他的RDD。 Spark Core提供了三种创建RDD的方式，包括：使用程序中的集合创建RDD；使用本地文件创建RDD；使...
RDD的行动（Action）操作
Nice的博客
09-11 1819
1. reduce(func) 通过func函数聚集RDD中的所有元素，这个功能必须是可交换且可并联的 scala> val rdd1 = sc.makeRDD(1 to 10,2) rdd1: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[85] at makeRDD at <console>:24 scala...
Spark操作——行动操作(一)
YF_Li123的博客
05-23 793
集合标量行动操作 存储行动操作 集合标量行动操作 first(): T 返回RDD中的第一个元素，不进行排序 count(): Long 返回RDD中的元素个数 reduce(f:(T, T) => T): T 根据映射函数f，对元素进行二元计算 collect(): Array[T] 将RDD转换为数组 take(num: Int)： Array[T] 获取RDD中下标从0—num-1的元素，不进行排序 ...
RDD行动(Action)操作
TSY_1222的博客
07-13 411
直接看例题： 执行sc.parallelize()操作，生成一个RDD（即rdd），rdd中包含5个元素，即1,2,3,4,5。 注意：输出每个元素的值，rdd.foreach(elem=>println(elem))等价于rdd.foreach(println) ...
详解 Spark RDD 的转换操作与行动操作
weixin_43958974的博客
01-07 5436
前言 本期继续讲解 Spark 核心 RDD 编程部分，内容比较干货也比较长，建议大家先收藏。 学习目标 RDD 的创建 RDD 的转换操作 RDD 的行动操作 惰性求值 1. RDD 的创建 Spark 提供了两种创建 RDD 的方式：对一个集合进行并行化操作和利用外部数据集生成 RDD 。 对一个集合进行并行化操作 Spark 创建 RDD 最简单的方式就是把已经存在的集合传给 parallelize() 方法，不过，这种方式在开发中并不常用，毕竟需要将整个的数据集先放到一个节点.
Spark RDD常见的转化和行动操作
Yage的博客
05-09 1112
1基本RDD 1.1 针对各个元素的转化操作 两个最常用的转化操作是map()和filter()。转化操作map()接收一个函数，把这个函数用于RDD中的每个元素，每个元素经函数的返回结果作为新RDD中对应元素的值。而转化操作filter()则接收一个函数，并将RDD中满足该函数的元素放入新RDD中返回。 例如，用map()对RDD中的所有数求平方： val input = sc.parallel...
RDD 数据操作主要有两个动作
dian张
11-30 1615
Transformations(转换)：return a new RDD map(f : T ) U) : RDD[T] ) RDD[U]返回一个新的分布式数据集，由每个原元素经过func函数转换后组成 filter(f : T ) Bool) : RDD[T] ) RDD[T]返回一个新的数据集，由经过func函数后返回值为true的原元素组成 flatMap(f : T ) Seq[U])
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值