Spark：掌握RDD算子

最新推荐文章于 2024-07-23 17:55:22 发布
最新推荐文章于 2024-07-23 17:55:22 发布
阅读量121 收藏 1
点赞数
文章标签： spark big data hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/mu_kui/article/details/125370913
版权

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

文章目录

一、RDD算子

  • RDD被创建后是只读的，不允许修改。Spark提供了丰富的用于操作RDD的方法，这些方法被称为算子。一个创建完成的RDD只支持两种算子：转化（Transformation）算子和行动（Action）算子。

二、准备工作

（一）准备文件

1、准备本地系统文件

在/home目录里创建words.txt

在这里插入图片描述

2、把文件上传到HDFS
  • 将words.txt上传到HDFS系统的/park目录里

在这里插入图片描述

（二）启动Spark Shell

  • 执行名命令： spark-shell --master spark://master:7077

在这里插入图片描述

三、转化算子

转化算子负责对RDD中的数据进行计算并转化为新的RDD。Spark中的所有转化算子都是惰性的，因为它们不会立即计算结果，而只是记住对某个RDD的具体操作过程，直到遇到行动算子才会与行动算子一起执行。

（一）映射算子 - map()

1、映射算子功能

map()是一种转化算子，它接收一个函数作为参数，并把这个函数应用于RDD的每个元素，最后将函数的返回结果作为结果RDD中对应元素的值。

2、映射算子案例

预备工作：创建一个RDD - rdd1
执行命令：val rdd1 = sc.parallelize(List(1, 2, 3, 4, 5, 6))

在这里插入图片描述

任务1、将rdd1每个元素翻倍得到rdd2

  • 对rdd1应用map()算子，将rdd1中的每个元素平方并返回一个名为rdd2的新RDD

在这里插入图片描述

  • 上述代码中，向算子map()传入了一个函数x = > x * 2。其中，x为函数的参数名称，也可以使用其他字符，例如a => a * 2。Spark会将RDD中的每个元素传入该函数的参数中。

  • 其实，利用神奇占位符_可以写得更简洁

在这里插入图片描述

  • rdd1和rdd2中实际上没有任何数据，因为parallelize()和map()都为转化算子，调用转化算子不会立即计算结果。

在这里插入图片描述

  • 若需要查看计算结果，则可使用行动算子collect()。（collect是采集或收集之意）

  • 执行rdd2.collect进行计算，并将结果以数组的形式收集到当前Driver。因为RDD的元素为分布式的，数据可能分布在不同的节点上。

在这里插入图片描述

任务2、将rdd1每个元素平方得到rdd2

  • 方法一、采用普通函数作为参数传给map()算子

在这里插入图片描述

  • 方法二、采用下划线表达式作为参数传给map()算子
  • 刚才翻倍用的是map(_ * 2)，很自然地想到平方应该是map(_ * _)

在这里插入图片描述

  • 报错，(_ * _)经过eta-expansion变成普通函数，不是我们预期的x => x * x，而是(x$1, x$2) => (x$1 * x$2)，不是一元函数，而是二元函数，系统立马就蒙逼了，不晓得该怎么取两个参数来进行乘法运算。
  • 难道就不能用下划线参数了吗？当然可以，但是必须保证下划线表达式里下划线只出现1次。引入幂函数scala.math.pow就可以搞定。

在这里插入图片描述

  • 但是有点美中不足，rdd2的元素变成了双精度实数，得转化成整数

在这里插入图片描述

（二）过滤算子 - filter()

1、过滤算子功能
  • filter(func)：通过函数func对源RDD的每个元素进行过滤，并返回一个新RDD，一般而言，新RDD元素个数会少于原RDD。
2、过滤算子案例

任务1、过滤出列表中的偶数

  • 基于列表创建RDD，然后利用过滤算子得到偶数构成的新RDD
  • 方法一、将匿名函数传给过滤算子

在这里插入图片描述

  • 方法二、用神奇占位符改写传入过滤算子的匿名函数

在这里插入图片描述

  • 将rdd1里的每一个元素x拿去计算x % 2 == 0，如果关系表达式计算结果为真，那么该元素就丢进新RDD - rdd2，否则就被过滤掉了。

任务2、过滤出文件中包含spark的行

  • 查看源文件/park/words.txt内容

在这里插入图片描述

  • 执行命令： val lines= sc.textFile("hdfs://master:9000/park/words.txt")，读取文件 /park/words.txt生成RDD - lines

在这里插入图片描述

  • 执行命令：val sparkLines = lines.filter(_.contains("spark"))，过滤包含spark的行生成RDD - sparkLines

在这里插入图片描述

  • 执行命令：sparkLines.collect()，查看sparkLines内容，可以采用遍历算子，分行输出内容太

在这里插入图片描述

（三）扁平映射算子 - flatMap()

1、扁平映射算子功能
  • flatMap()算子与map()算子类似，但是每个传入给函数func的RDD元素会返回0到多个元素，最终会将返回的所有元素合并到一个RDD。
2、扁平映射算子案例

任务1、统计文件中单词个数

  • 读取文件，生成RDD - rdd1，查看其内容和元素个数

在这里插入图片描述

  • 对于rdd1按空格拆分，做映射，生成新RDD - rdd2

在这里插入图片描述

  • 对于rdd1按空格拆分，做扁平映射，生成新RDD - rdd3

在这里插入图片描述

  • 大家可以看到，经过扁平映射，生成的RDD是一个单词构成一个元素，而rdd1是6行单词构成6个元素
  • 执行命令：rdd3.count()，即可知单词个数

在这里插入图片描述

任务2、统计不规则二维列表元素个数

​在这里插入图片描述

方法一、利用Scala来实现

  • 利用列表的flatten函数

在这里插入图片描述

方法二、利用Spark RDD来实现

  • 利用flatMap算子

在这里插入图片描述

  • 查看rdd2的内容

在这里插入图片描述

mu_kui
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
SparkRDD——行动算子
tyh1579152915的博客
06-10 3437
一、行动算子定义 spark的算子可以分为trans action算子 以及 action算子 ，即变换/转换 算子。如果执行一个RDD算子并不触发作业的提交，仅仅只是记录作业中间处理过程，那么这就是trans action算子 ，相反如果执行这个 RDD 时会触发 Spark Context 提交 Job 作业，那么它就是 action算子及行动算子。 总结来说就是在Spark中，转换算子并不会马上进行运算的，即所谓的“惰性运算”，而是在遇到行动算子时才会执行相应的语句的，触发Spark的任务调度并开始进
Spark系列--SparkCore(三)RDD基本操作
淡淡的倔强的博客
07-12 1843
前言 RDD的基本操作分为两种，一种是转换Transformation，一种是行动Action RDD中的所有转换都是延迟加载的，也就是说，它们并不会直接计算结果。相反的，它们只是记住这些应用到基础数据集（例如一个文件）上的转换动作。只有当发生一个要求返回结果给Driver的动作时，这些转换才会真正运行。这种设计让Spark更加有效率地运行。 一、常用的Transformation 1...
Spark RDD弹性分布数据集详解
共勉
05-25 1447
RDD简介 RDD是Spark提供的最重要的抽象概念，我们可以将RDD理解为一个分布式存储在集群中的大型数据集合，不同RDD之间可以通过转换操作形成依赖关系实现管道化，从而避免了中间结果的I/O操作，提高数据处理的速度和性能。 RDD（Resilient Distributed Dataset），即弹性分布式数据集，是一个容错的、并行的数据结构，可以让用户显式地将数据存储到磁盘和内存中，并且还能控制数据的分区。 RDD创建方式 方式一：从系统加载数据创建RDD Spark可以从Hadoop支持的任何存储源中
Spark的RDD转换算子-map、mapPartitions、mapPartitionsWithIndex
weixin_46429290的博客
08-28 749
Spark的RDD转换算子-map、mapPartitions、mapPartitionsWithIndex RDD算子包括RDD转换算子和RDD行动算子，其实算子就相当于一种方法，在方法中封装想要实现所需结果的逻辑，比如在将旧的RDD包装成新的RDD上，所使用的有map、flatMap等，其实这就是转换算子。在整个任务的调度和作业的执行方面，只有调用了collect之后，才会出发任务的执行，比如collect方法，这就是行动算子。 RDD转换算子 RDD根据数据处理方式的不同将算子整体上分为value型、
Spark RDD算子详解
weixin_36040866的博客
02-07 3405
RDD转换算子及行动算子详细记录，附idea实操演练 转换算子（Transformation）：功能的补充和封装，将旧的RDD包装成新的RDD（flatMap,map...) 行动算子（Action）：触发任务的调度和作业的执行(collect)
Spark中RDD的算子
wow136621268的博客
05-09 125
Transformation算子 该类算子的作用：oldRDD —> newRDD 程序在遇到Transformation的算子时，是不会真正执行计算的，是延迟加载的。 算子 描述 map 每次遍历RDD每一个元素执行逻辑并返回结果 filter 过滤器 flatMap 每次遍历并将多个stream压成一个stream mapPartitions 每次遍历一个分区 mapPartitionsWithIndex 每次遍历一个分区，并带有当前分区编号 sample(w
Spark：创建RDD
mu_kui的博客
06-20 397
spark学习笔记
java-spark中各种常用算子的写法示例
08-27
map 算子是 Spark 中最基本的算子之一，它可以将一个 RDD 转换成另一个 RDD。map 算子需要定义一个转换函数，该函数将输入数据转换成输出数据。下面是一个使用 map 算子的示例代码： ```java Function, ...
【SparkCore篇02】RDD转换算子1
08-04
SparkCore篇02主要介绍了RDD的...在实际应用中，理解并熟练掌握这些算子对于编写高效的Spark程序至关重要。需要注意的是，在使用这些算子时，要考虑到数据规模、内存限制以及计算效率，合理选择合适的操作以优化性能。
Spark大数据处理学习笔记
09-18
* 掌握 RDD 算子：了解 RDD 的 map、filter、reduce、groupby 等算子，并了解其使用场景。 三、RDD 的分区 * 掌握 RDD 的分区：了解 RDD 的分区机制，了解如何使用 coalesce 和 repartition 等方法对 RDD 进行分区...
Spark算子实例maven版
04-06
总结来说，"Spark算子实例maven版"项目为开发者提供了实际操作Spark算子的代码示例，帮助他们理解和掌握如何在Maven项目中有效地利用Spark进行数据处理。通过Eclipse这样的IDE，开发者可以轻松导入并运行这些示例，...
南华大学RDD实验报告
09-13
Spark 的实验环境，熟悉并掌握RDD（Resilient Distributed Datasets）的核心算子，通过具体的实例操作来加深理解。以下是对各个知识点的详细说明： **一、Spark与RDD基础** Spark 是一个快速、通用且可扩展的大数据...
Spark 如何快速准确的查询 spark.api使用方式
u013560925的博客
04-09 2585
背景        今天在做一个spark dataset练习的时候，遇到一个agg聚合函数，但是怎么用，都编译不过，然后百度啥的给的也不权威，最后找到一个spark官方的api网站，有较为详细的使用介绍。正文网站    网址： http://spark.apache.org/docs/2.2.1/api/java/allclasses-noframe.html    网站截图：搜索类别，点击进入...
Spark学习之SparkSQL
m0_58050808的博客
07-16 689
Spark SQL中的DataFrame DSL（Domain Specific Language，领域特定语言）是一种用于处理DataFrame的编程风格，它允许开发者以命令式的方式，通过调用API接口来操作DataFrame。这种风格**介于代码和纯SQL之间，**提供了一种更加灵活和强大的数据处理方式。DataFrame DSL（Domain Specific Language，领域特定语言）中的。idea里面将代码编写好打包上传到集群中运行，上线使用。
数据仓库中的数据治理
weixin_72431427的博客
07-20 670
数据仓库中的数据治理，包括定义和流程，并探讨为什么数据治理对于数据仓库的成功至关重要。
Spark 运行架构
好记性不如烂笔头
07-23 521
Spark 框架的核心是一个计算引擎，整体来说，它采用了标准的 master-slave 结构。上图中的 Driver 表示 master ，负责管理整个集群中的作业任务调度；Executor 则是 slave，负责实际执行任务；
通过 EMR Serverless Spark 提交 PySpark 流任务
科技很有意思
07-19 818
本文将指导您使用EMR Serverless Spark提交PySpark流式任务，展示其在流处理方面的易用性和可运维性。
Zilliz 推出 Spark Connector：简化非结构化数据处理流程
最新发布
ZILLIZ
07-23 494
本文将介绍 Spark Connector 及其应用场景，并手把手教你如何使用它实现数据推送。
SparkCore入门：理解RDD的概念与特性
5. 操作算子： - transformations：如map、filter、flatMap等，它们创建新的RDD而不立即执行计算，仅记录转换过程。 - actions：如count、collect、save等，触发实际计算或返回结果，或把结果写入外部存储。 6. ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值