Spark核心

Spark 计算框架为了能够进行高并发和高吞吐的数据处理，封装了三大数据结构，用于处理不同的应用场景。三大数据结构分别是：
【RDD】 弹性分布式数据集
【累加器】:分布式共享只写变量
【广播变量】：分布式共享只读变量

1、什么是RDD
RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是 Spark 中最基本的数据处理模型。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。
【弹性】表现在以下四个方面
存储的弹性：内存与磁盘的自动切换；
容错的弹性：数据丢失可以自动恢复；
计算的弹性：计算出错重试机制；
分片的弹性：可根据需要重新分片。

【分布式】：数据存储在大数据集群不同节点上
【数据集】：RDD 封装了计算逻辑，并不保存数据
【数据抽象】：RDD 是一个抽象类，需要子类具体实现
【不可变】：RDD 封装了计算逻辑，是不可以改变的，想要改变，只能产生新的 RDD，在新的 RDD 里面封装计算逻辑
【可分区、并行计算】

2、核心属性
【分区列表】
RDD 数据结构中存在分区列表，用于执行任务时并行计算，是实现分布式计算的重要属性。
【分区计算函数】
Spark 在计算时，是使用分区函数对每一个分区进行计算
【RDD 之间的依赖关系】
RDD 是计算模型的封装，当需求中需要将多个计算模型进行组合时，就需要将多个 RDD 建立依赖关系

3 执行原理
从计算的角度来讲，数据处理过程中需要计算资源（内存 & CPU）和计算模型（逻辑）。执行时，需要将计算资源和计算模型进行协调和整合。Spark 框架在执行时，先申请资源，然后将应用程序的数据处理逻辑分解成一个一个的计算任务。然后将任务发到已经分配资源的计算节点上, 按照指定的计算模型进行数据计算。最后得到计算结果。
RDD 是 Spark 框架中用于数据处理的核心模型，接下来我们看看，在Yarn 环境中，RDD的工作原理


3) Spark 框架根据需求将计算逻辑根据分区划分成不同的任务