Spark Core

1、Spark架构设计
1.1 架构设计图

1.2 相关术语名词解释
1、RDD (Resilient Distributed DataSet)
o弹性分布式数据集，是对数据集在spark存储和计算过程中的一种抽象。
o是一组只读、可分区的的分布式数据集合。
o一个RDD 包含多个分区Partition(类似于MapReduce中的InputSplit)，分区是依照一定的规则的，将具有相同规则的属性的数据记录放在一起。
o横向上可切分并行计算，以分区Partition为切分后的最小存储和计算单元。
o纵向上可进行内外存切换使用，即当数据在内存不足时，可以用外存磁盘来补充。
2、Partition（分区）
oPartition类似hadoop的Split，计算是以partition为单位进行的，提供了一种划分数据的方式。
opartition的划分依据有很多，常见的有Hash分区、范围分区等，也可以自己定义的，像HDFS文件，划分的方式就和MapReduce一样，以文件的block来划分不同的partition。
o一个Partition交给一个Task去计算处理
3、算子
o英文简称：Operator，简称op
o广义上讲，对任何函数进行某一项操作都可以认为是一个算子
o通俗上讲，算子即为映射、关系、变换。
oMapReduce算子，主要分为两个，即为Map和Reduce两个主要操作的算子，导致灵活可用性比较差。
oSpark算子，分为两大类，即为Transformation和Action类，合计有80多个。
4、Transformation类算子
o操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。
o细分类
Value数据类型的Transformation算子
Key-Value数据类型的Transfromation算子
5、Action类算子
o会触发 Spark 提交作业（Job），并将数据输出 Spark系统。
6、窄依赖
o如果一个父RDD的每个分区只被子RDD的一个分区使用 ----> 一对一关系
7、宽依赖
o如果一个父RDD的每个分区要被子RDD 的多个分区使用 ----> 一对多关系
8、Application
oSpark Application的概念和MapReduce中的job或者yarn中的application类似，指的是用户编写的Spark应用程序，包含了一个Driver功能的代码和分布在集群中多个节点上运行的Executor代码
o一般是指整个Spark项目从开发、测试、布署、运行的全部。
9、Driver
o运行main函数并且创建SparkContext的程序。
o称为驱动程序，Driver Program类似于hadoop的wordcount程序中的driver类的main函数。
10、Cluster Manager
o集群的资源管理器，在集群上获取资源的服务。如Yarn、Mesos、Spark Standalone等。
o以Yarn为例，驱动程序会向Yarn申请计算我这个任务需要多少的内存，多少CPU等，后由Cluster Manager会通过调度告诉驱动程序可以使用，然后驱动程序将任务分配到既定的Worker Node上面执行。
11、WorkerNode
o集群中任何一个可以运行spark应用代码的节点。
oWorker Node就是物理机器节点，可以在上面启动Executor进程。
12、Executor
oApplication运行在Worker节点上的一个进程，该进程负责运行Task，并且负责将数据存在内存或者磁盘上，每个Application都有各自独立专享的一批Executor。
oExecutor即为spark概念的资源容器，类比于yarn的container容器，真正承载Task的运行与管理，以多线程的方式运行Task，更加高效快速。
13、Task
o与Hadoop中的Map Task或者Reduce Task是类同的。
o分配到executor上的基本工作单元，执行实际的计算任务。
oTask分为两类，即为ShuffleMapTask和ResultTask。
ShuffleMapTask：即为Map任务和发生Shuffle的任务的操作，由Transformation操作组成，其输出结果是为下个阶段任务(ResultTask)进行做准备，不是最终要输出的结果。
ResultTask：即