spark内核解密

spark内核架构

schulebackend

acuter

driver:（application=driver+executor）standalone是spark自带的，效率比其他的好，一个计算框架就可以了、yarn

SparkContext创建的时候要有高层调度器、底层调度器、schulebackend，向master注册程序，job stage taskschuler

executer.

driver:部分的代码在application中是sparkconf+sparkContext

textFileflatmap map：具体的业务实现，RDD操作，并产生RDD的过程

DriverProgram(sparkContext)->cluster Manager（）->worker node：executor（task）+ cache（task）

sparkcontext的运行不依赖于clusterManager

mesos->yarn->standalone

woker:管理当前node的计算资源，并接受master的指令来分配具体的计算资源executor（在新的进程中分配）executorRunner代理模式

job：包含了一系列的task

调度、容错

依赖构成DAG

stage内部计算逻辑完全一样，只是计算的数据不同！！！！

一个partition大小不一定是128M,有可能跨记录。

一个application中可以有多个job，一般一个action操作就会对应一个job，checkpoint也会导致job，排序rang的时候也会触发job。