Spark-RDD原理、WordCount运行流程

1.定义：

​ RDD为弹性分布式数据集，Spark中最基本的数据抽象。表现在代码中为一个抽象类，它代表一个弹性的，不可变，可分区，里面的元素可并行计算的集合

2.基本原理之YarnCluster模式

​ 当执行Spark-submit脚本时，首先Client客户端会调用内部main方法开始执行任务，将封装好的指令发送给ResourceManager，ResourceManager收到指令后会选择一台NodeManager来启动AppMaster，并且启动Driver程序（Client模式Driver程序会运行在客户端上，而Cluster模式会运行在AppMaster上）执行代码，初始化sc，将任务切分然后由APPMaster负责申请资源，然后启动ExecutorManager，并且在内部创建Executor对象，最后分配任务，执行任务

3.解释定义

3.1弹性

​ 1.存储的弹性：内存与磁盘的自动切换(Spark是基于内存计算的计算框架，当内存不够时，会溢出一部分暂时在磁盘)

​ 2.容错的弹性：数据丢失可以自动恢复(RDD本身不存储数据,当某一个阶段发生错误没有拉取到数据，可以返回上一级，直到某一可以拉去数据的RDD那一层即可)

​ 3.计算的弹性：计算出错重试机制(内置参数，在计算出错时可以重试)

​ 4.分片的弹性：文件有几个块，分区就有几个

3.2分布式

​ 数据存储在大数据集群的不同节点上

3.3 数据集，不存储数据

​ RDD是Spark中最基本的数据抽象，只是封装了逻辑，并不保存数据

3.4 数据抽象

​ RDD是一个抽象类，需要子类具体实现 abstract class RDD

3.5不可变

​ RDD封装完计算逻辑以后，不能改变，想要改变的话，只能产生新的RDD

3.6可分区，并行计算

​ 数据存储在各个块中，所以对应RDD各个分区，各个块之间是并行计算的。

4，五大特性

/*  - A list of partitions
 *  - A function for computing each split
 *  - A list of dependencies on other RDDs
 *  - Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)
 *  - Optionally, a list of preferred locations to compute each split on (e.g. block locations for
 *    an HDFS file)
 */
// A list of partitions:分区列表，一组分区，数据集最基本的组成单位，标记数据是哪个分区的
protected def getPartitions: Array[Partition]

// A list of partitions:计算每个分区的函数
def compute(split: Partition, context: TaskContext): Iterator[T]

// A list of dependencies on other RDDs对其他RDD的依赖
protected def getDependencies: Seq[Dependency[_]] = deps

// Optionally, a Partitioner for key-value RDDs (e.g. to say that the RDD is hash-partitioned)可选，RDD分片函数，控制分区的数据流向
val partitioner: Option[Partitioner] = None

// Optionally, a list of preferred locations to compute each split on (e.g. block locations for：一个列表，存储存取每个Partition的优先位置，移动数据不如移动计算，除非资源不够
protected def getPreferredLocations(split: Partition): Seq[String] = Nil

例：WordCount为例执行: spark-submit --class WrodCount --master yarn --deploy-mode cluster WordCount.jar /input /output后会产生以下结果