【Spark】（三）Spark 架构原理和RDD使用详解_spark rdd 原理图(1)

于 2024-05-11 00:16:02 发布
阅读量776 收藏 8
点赞数 26
分类专栏： 程序员 文章标签： 大数据 面试 学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2301_77033583/article/details/138687251
版权

img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

	- [4.3　Spark WordCount代码编写](#43%E3%80%80Spark_WordCount_149)
	- * [（1）使用scala进行编写](#1scala_153)
		* [4.4　WordCount执行过程图](#44%E3%80%80WordCount_197)
+ [五、RDD的宽依赖和窄依赖](#RDD_202)
+ - [5.1 RDD依赖关系的本质内幕](#51_RDD_204)
	- [5.2 依赖关系下的数据流视图](#52__228)

一、Spark 架构原理

在这里插入图片描述

SparkContext 主导应用执行

Cluster Manager 节点管理器

把算子RDD发送给 Worker Node

Cache : Worker Node 之间共享信息、通信

Executor 虚拟机 容器启动 接任务 Task(core数 一次处理一个RDD分区)

1.1　Spark架构核心组件

在这里插入图片描述

1.2　各部分功能图

在这里插入图片描述

  • Driver 注册了一些 Executor后，就可以开始正式执行 spark 应用程序了。第一步是创建 RDD,读取数据源;
  • HDFS 文件被读取到多个 Worker节点，形成内存中的分布式数据集，也就是初始RDD;
  • Driver会根据程序对RDD的定义的操作，提交 Task 到 Executor;
  • Task会对RDD的partition数据执行指定的算子操作，形成新的RDD的partition;

二、RDD概述

2.1　什么是RDD？

RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。

2.2　RDD具体包含了一些什么东西？

RDD是一个类，它包含了数据应该在哪算，具体该怎么算，算完了放在哪个地方。它是能被序列化，也能被反序列化。在开发的时候，RDD给人的感觉就是一个只读的数据。但是不是，RDD存储的不是数据，而是数据的位置，数据的类型，获取数据的方法，分区的方法等等。

2.3　RDD的五大特性

（1）一组分片（Partition），即数据集的基本组成单位。对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在创建RDD时指定RDD的分片个数，如果没有指定，那么就会采用默认值。默认值就是程序所分配到的CPU Core的数目。

（2）一个计算每个分区的函数。Spark中RDD的计算是以分片为单位的，每个RDD都会实现compute函数以达到这个目的。compute函数会对迭代器进行复合，不需要保存每次计算的结果。

（3）RDD之间的依赖关系。RDD的每次转换都会生成一个新的RDD，所以RDD之间就会形成类似于流水线一样的前后依赖关系。在部分分区数据丢失时，Spark可以通过这个依赖关系重新计算丢失的分区数据，而不是对RDD的所有分区进行重新计算。

（4）一个Partitioner，即RDD的分片函数。当前Spark中实现了两种类型的分片函数，一个是基于哈希的HashPartitioner，另外一个是基于范围的RangePartitioner。只有对于于key-value的RDD，才会有Partitioner，非key-value的RDD的Parititioner的值是None。Partitioner函数不但决定了RDD本身的分片数量，也决定了parent RDD Shuffle输出时的分片数量。

（5）一个列表，存储存取每个Partition的优先位置（preferred location）。对于一个HDFS文件来说，这个列表保存的就是每个Partition所在的块的位置。按照“移动数据不如移动计算”的理念，Spark在进行任务调度的时候，会尽可能地将计算任务分配到其所要处理数据块的存储位置。

2.4　RDD可以从哪来
  1. 通过序列化集合的方式
    在这里插入图片描述
  2. 通过读取文件的方式
scala> sc.textFile("hdfs://wc/e.txt")
res0: org.apache.spark.rdd.RDD[String] = hdfs://wc/e.txt MapPartitionsRDD[1] at textFile at <console>:25

scala> val rdd = sc.textFile("hdfs://192.168.56.137:9000/wc/e.txt")
rdd: org.apache.spark.rdd.RDD[String] = hdfs://192.168.56.137:9000/wc/e.txt MapPartitionsRDD[21] at textFile at <console>:24
  1. 通过其他的RDD进行transformation转换而来
2.5　WordCount粗图解RDD

在这里插入图片描述
其中hello.txt
在这里插入图片描述

三、RDD的创建方式

3.1　通过读取文件生成的

由外部存储系统的数据集创建，包括本地的文件系统，还有所有Hadoop支持的数据集，比如HDFS、Cassandra、HBase等

scala> val file = sc.textFile("/spark/hello.txt")

在这里插入图片描述

3.2　通过并行化的方式创建RDD

由一个已经存在的Scala集合创建。

scala> val array = Array(1,2,3,4,5)
array: Array[Int] = Array(1, 2, 3, 4, 5)

scala> val rdd = sc.parallelize(array)
rdd: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[27] at parallelize at <console>:26

scala>

在这里插入图片描述

3.3　其他方式

读取数据库等等其他的操作。也可以生成RDD。

RDD可以通过其他的RDD转换而来的。

四、RDD编程API

Spark支持两个类型（算子）操作：Transformation和Action

4.1　Transformation
转换含义
map(func)返回一个新的RDD，该RDD由每一个输入元素经过func函数转换后组成
filter(func)返回一个新的RDD，该RDD由经过func函数计算后返回值为true的输入元素组成
flatMap(func)类似于map，但是每一个输入元素可以被映射为0或多个输出元素（所以func应该返回一个序列，而不是单一元素）
mapPartitions(func)类似于map，但独立地在RDD的每一个分片上运行，因此在类型为T的RDD上运行时，func的函数类型必须是Iterator[T] => Iterator[U]
mapPartitionsWithIndex(func)类似于mapPartitions，但func带有一个整数参数表示分片的索引值，因此在类型为T的RDD上运行时，func的函数类型必须是(Int, Interator[T]) => Iterator[U]
sample(withReplacement, fraction, seed)根据fraction指定的比例对数据进行采样，可以选择是否使用随机数进行替换，seed用于指定随机数生成器种子
union(otherDataset)对源RDD和参数RDD求并集后返回一个新的RDD
intersection(otherDataset)对源RDD和参数RDD求交集后返回一个新的RDD
distinct([numTasks]))对源RDD进行去重后返回一个新的RDD
groupByKey([numTasks])在一个(K,V)的RDD上调用，返回一个(K, Iterator[V])的RDD
reduceByKey(func, [numTasks])在一个(K,V)的RDD上调用，返回一个(K,V)的RDD，使用指定的reduce函数，将相同key的值聚合到一起，与groupByKey类似，reduce任务的个数可以通过第二个可选的参数来设置
aggregateByKey(zeroValue)(seqOp, combOp, [numTasks])先按分区聚合 再总的聚合 每次要跟初始值交流 例如：aggregateByKey(0)(+,+) 对k/y的RDD进行操作
sortByKey([ascending], [numTasks])在一个(K,V)的RDD上调用，K必须实现Ordered接口，返回一个按照key进行排序的(K,V)的RDD
sortBy(func,[ascending], [numTasks])与sortByKey类似，但是更灵活 第一个参数是根据什么排序 第二个是怎么排序 false倒序 第三个排序后分区数 默认与原RDD一样
join(otherDataset, [numTasks])在类型为(K,V)和(K,W)的RDD上调用，返回一个相同key对应的所有元素对在一起的(K,(V,W))的RDD 相当于内连接（求交集）
cogroup(otherDataset, [numTasks])在类型为(K,V)和(K,W)的RDD上调用，返回一个(K,(Iterable,Iterable))类型的RDD
cartesian(otherDataset)两个RDD的笛卡尔积 的成很多个K/V
pipe(command, [envVars])调用外部程序
coalesce(numPartitions)重新分区 第一个参数是要分多少区，第二个参数是否shuffle 默认false 少分区变多分区 true 多分区变少分区 false
repartition(numPartitions)重新分区 必须shuffle 参数是要分多少区 少变多
repartitionAndSortWithinPartitions(partitioner)重新分区+排序 比先分区再排序效率高 对K/V的RDD进行操作
foldByKey(zeroValue)(seqOp)该函数用于K/V做折叠，合并处理 ，与aggregate类似 第一个括号的参数应用于每个V值 第二括号函数是聚合例如：_+_
combineByKey合并相同的key的值 rdd1.combineByKey(x => x, (a: Int, b: Int) => a + b, (m: Int, n: Int) => m + n)
partitionBy（partitioner）对RDD进行分区 partitioner是分区器 例如new HashPartition(2
cache / persistRDD缓存，可以避免重复计算从而减少时间，区别：cache内部调用了persist算子，cache默认就一个缓存级别MEMORY-ONLY ，而persist则可以选择缓存级别
Subtract（rdd）返回前rdd元素不在后rdd的rdd
leftOuterJoinleftOuterJoin类似于SQL中的左外关联left outer join，返回结果以前面的RDD为主，关联不上的记录为空。只能用于两个RDD之间的关联，如果要多个RDD关联，多关联几次即可
rightOuterJoinrightOuterJoin类似于SQL中的有外关联right outer join，返回结果以参数中的RDD为主，关联不上的记录为空。只能用于两个RDD之间的关联，如果要多个RDD关联，多关联几次即可
subtractByKeysubstractByKey和基本转换操作中的subtract类似只不过这里是针对K的，返回在主RDD中出现，并且不在otherRDD中出现的元素
4.2　Action

触发代码的运行，我们一段spark代码里面至少需要有一个action操作。

常用的Action：

动作含义
reduce(func)通过func函数聚集RDD中的所有元素，这个功能必须是课交换且可并联的
collect()在驱动程序中，以数组的形式返回数据集的所有元素
count()返回RDD的元素个数
first()返回RDD的第一个元素（类似于take(1)）
take(n)返回一个由数据集的前n个元素组成的数组
takeSample(withReplacement,num, [seed])返回一个数组，该数组由从数据集中随机采样的num个元素组成，可以选择是否用随机数替换不足的部分，seed用于指定随机数生成器种子
takeOrdered(n, [ordering])
saveAsTextFile(path)将数据集的元素以textfile的形式保存到HDFS文件系统或者其他支持的文件系统，对于每个元素，Spark将会调用toString方法，将它装换为文件中的文本
saveAsSequenceFile(path)将数据集中的元素以Hadoop sequencefile的格式保存到指定的目录下，可以使HDFS或者其他Hadoop支持的文件系统
saveAsObjectFile(path)
countByKey()针对(K,V)类型的RDD，返回一个(K,Int)的map，表示每一个key对应的元素个数
foreach(func)在数据集的每一个元素上，运行函数func进行更新。
aggregate先对分区进行操作，在总体操作
reduceByKeyLocally

img
img
img

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

g-JRgDwdPz-1715357730472)]

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

需要这份系统化资料的朋友，可以戳这里获取

玉泽写
关注
  • 26
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Spark中，RDD概述（五大属性，弹性介绍，5个特性）
fafa_1111的博客
06-27 8667
RDD特性
Spark的运行架构分析（一）之架构概述
热门推荐
Thinkgamer博客
07-05 1万+
1：Spark的运行模式 2：Spark中的一些名词解释 3：spark的运行基本流程 一：Spark的运行模式         Spark的运行模式多种多样，灵活多变，部署在单机上时，既可以用本地模式运行，也可以用伪分布模式运行，而当以分布式集群的方式部署时，也有众多的运行模式可供选择，这取决于集群的实际情况，底层的资源调度即可以依赖外部资源调度框架，也可以使用Spark内建的S
spark-RDD原理与操作(超级详细)
互联网知识分享
05-14 1971
通过基于RDD的一系列转换，丢失的数据会被重算，由于RDD的各个Partition是相对独立的，因此只需要计算丢失的部分即可，并不需要重算全部Partition。（3）即数据集的基本组成单位。）RDD和它依赖的父RDD(即 可以认为是通过运算产生出新RDD)的关系有两种不同的类型，即窄依赖（narrow dependency）和宽依赖（wide dependency）。（2）理解：RDD是由分区组成，每个分区运行在不同的Worker上，通过这种方式来实现分布式计算，RDD是逻辑概念，分区是物理概念。
【Spark】Spark介绍（架构、生态、特点、角色）
BIG BOSS的博客
11-21 4432
Spark介绍 1.概述 Spark是一种快速、通用、可扩展的大数据分析引擎，于2009年诞生于加州大学伯克利分校AMPLab，2010年开源，2013年6月成为Apache孵化项目，2014年2月成为Apache顶级项目。项目是用Scala进行编写。 Spark生态系统已经发展成为一个包含多个子项目的集合，其中包含SparkSQL、Spark Streaming、GraphX、MLib、Spar...
Spark运行架构
太白_猿的博客
04-05 2269
Spark运行架构、核心组件、核心概念
Spark 架构
mengxianglong123的博客
11-13 3647
一、运行架构 Spark框架的核心是一个计算引擎，整体来说，它采用了标准 master-slave 的结构。 如下图所示，它展示了一个 Spark执行时的基本结构。图形中的Driver表示master，负责管理整个集群中的作业任务调度。图形中的Executor 则是 slave，负责实际执行任务。 二、核心组件 2.1 Driver Spark驱动器节点，用于执行Spark任务中的main方法，负责实际代码的执行工作。Driver在Spark作业执行时主要负责： 将用户程序转化为作业（job） 在Exe
Spark调度架构原理详解
08-28
Spark调度架构原理详解是Spark核心组件之一，对Spark的执行和调度至关重要。本文将从Spark调度架构原理的角度，深入探讨Spark的执行机制和调度原理。 Spark集群架构 Spark集群架构由三个主要组件组成：Driver、...
spark原理与调优详解
12-14
下面是 Spark 的原理和调优详解。 Spark 背景和安装 Spark 的产生背景是为了解决传统 MapReduce 框架的不足之处，如计算速度慢、无法实时处理数据等问题。Spark 的主要特点是基于内存的计算，能够实时地处理大规模...
spark运行原理讲解
03-01
### 三、RDD原理 RDD是Spark的基础数据结构，具有容错性。RDD操作分为两种类型：转换（Transformation）和行动（Action）。转换操作不触发计算，仅生成新的RDD；行动操作会触发计算，并可能返回结果给Driver。RDD的...
spark原理示意图
10-28
Spark原理详解 Spark是一款分布式计算框架，由加州大学伯克利分校AMPLab开发，并于2010年开源。它的设计目标是提供一种快速、通用且可扩展的数据处理方案，适用于批处理、交互式查询、流处理和机器学习等多种工作...
Spark----RDD（弹性分布式数据集）
Maverick_曲流觞的博客
04-20 2107
RDD，RDD是什么？为么需要RDD？，RDD的五大属性，WordCount中的RDD的五大属性，如何创建RDD？RDD的操作，基本算子/操作/方法/API，分区操作，重分区操作，聚合操作，四个有key函数的`区别`，关联操作，排序操作，RDD的缓存/持久化，cache和persist，checkpoint检查点，共享变量，Shuffle本质
Spark核心RDD详解（设计与运行原理，分区，创建，转换，行动与持久化）
个人学习笔记库，一篇一篇记录成长的足迹
01-30 3540
弹性分布式数据集， 是分布式内存的一个抽象概念，RDD提供了一种高度受限的共享内存模型，即RDD是只读的记录分区的集合，只能通过在其他RDD执行确定的转换操作（如map、join和group by）而创建，然而这些限制使得实现容错的开销很低。对开发者而言，RDD可以看作是Spark的一个对象，它本身运行于内存中，如读文件是一个RDD，对文件计算是一个RDD，结果集也是一个RDD ，不同的分片、 数据之间的依赖 、key-value类型的map数据都可以看做RDD。
简述Spark基础及架构
我玩的很开心的博客
08-04 2285
简述Spark基础及架构一、spark简介二、spark技术栈三、spark架构 一、spark简介 spark是基于内存的分布式计算框架，特点是快速、易用、通用及多种运行模式。 快速： 基于内存数据处理，比MR快100个数量级以上（逻辑回归算法测试） 基于硬盘数据处理，比MR快10个数量级以上 易用: 支持Java、Scala、Python、R语言 交互式shell方便开发测试 通用性: 一栈式解决方案：批处理、交互式查询、实时流处理、图计算及机器学习 多种运行模式： YARN、Mesos
Spark数据结构之RDD
weixin_45052608的博客
07-29 468
RDD
Spark的架构
qq_43688472的博客
01-06 765
传统的单机系统，虽然可以多核共享内存、磁盘等资源，但是当计算机与存储能力无法满足大规模数据处理的需要时，面对自身CPU和存储无法扩展的先天条件，单机系统就力不从心了。 1.分布式系统的架构 所谓的分布式系统，即为在网络互连的多个计算单元执行任务的软硬件系统，一般包括分布式操作系统、分布式数据库系统、分布式应用程序等。Spark分布式系统框架可以看做分布式软件系统的组成部分，基于Spark，开发者可...
Spark 核心编程RDD
zhongmingyu
03-30 816
RDD主要知识点
深度解析 Spark（进阶）：架构、集群运行机理与核心组件详解
最新发布
KKwan的博客
04-13 2113
Spark 应用程序作为集群上独立的进程集运行，由SparkContext 主程序（称为驱动程序）中的对象进行协调。具体来说，为了在集群上运行，SparkContext 可以连接到多种类型的集群管理器 （Spark 自己的独立集群管理器、Mesos、YARN 或 Kubernetes），这些集群管理器跨应用程序分配资源。连接后，Spark 会获取集群中节点上的执行程序，这些执行程序是为应用程序运行计算和存储数据的进程。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值