大数据--spark生态2--spark架构和rdd总结

斑马！

已于 2022-03-09 11:34:26 修改

阅读量345

点赞数

分类专栏：大数据 # spark生态、flink生态文章标签：大数据

于 2021-05-31 19:59:43 首次发布

本文链接：https://blog.csdn.net/yezonghui/article/details/117400587

版权

本文详细介绍了Spark的特点，包括速度、易用性、通用性和运行模式多样性。深入探讨了Spark Core，强调其基于RDD的抽象设计。接着阐述了Spark的架构设计，涵盖整体架构、Executor、Master和Worker的角色。还详细讲解了RDD的概念、数据运算、宽窄依赖、任务划分和持久化策略，如RDD的cache和checkpoint。最后提到了累加器和广播变量在Spark中的应用。

摘要由CSDN通过智能技术生成

10.2 rddcheckPoint检查点

十一：累加器

十二：广播变量

一：Spark特点

运行速度快：Spark使用先进的有向无环图（DAG）执行引擎，以支持循环数据流与内存计算。
容易使用：Spark支持Scala, Java, Python, R语言进行编程。
通用性：Spark提供强大的而完整的技术栈。
运行模式多样：Spark可以运行于独立的集群模式中，或者运行于Hadoop中。

二：Spark Core

Spark Core 包含Spark最基础最核心的功能，如内存计算，任务调度，部署模式，故障恢复，存储管理，主要面向批处理数据。Spark Core建立在同一的抽象RDD之上，使其可以以基本一致的方式来应对不同的大数据处理场景。Spark Core通常被简称为Spark.

三：Spark基本概念

RDD: 弹性分布式数据集，是分布式内存的一个抽象概念，提供了一种高度受限的共享内存模型。
DAG：有向无环图，反映RDD之间的依赖关系
Executor：是运行在工作节点（Worker Node）上的一个进程，负责运行任务，并为应用程序存储数据。
应用Application:用户编写的spark应用程序。
任务（Task）:是运行在Executor上的工作单元。
作业（Job）:一个作业包含多个RDD及作用于相应RDD上的各种操作。
阶段（Stage）:是作业的基本调度单位，一个作业会分为多组任务，每组任务被称为阶段。

四.Spark架构设计

4.1 整体架构

理解：

一个应用由一个Driver和若干个作业构成，一个作业由多个阶段构成，一个阶段由多个没有Shuffle关系的任务组成。
当执行一个应用时，Driver会像集群管理器申请资源，启动Executor，并向Executor发送应用程序代码和文件，然后在Executor上执行任务，运行结束后，执行结果会返回给Driver，或者写到HDFS或者其他数据库中。