spark-core05 spark运行进程解读

spark运行进程解读

1. Application => driver programe + n executors on cluster 都是进程
2. Driver program => main() + SparkContext
3. Cluster manager => standalone | mesos | YARN
4. Deploy mode => client | cluster 模式
5. Worker node => run application
6. Executor => 进程 , 运行 task，Cache， 每个application有独自得executors
7. Task => 工作单元，发送到executor内执行
8. Job => 遇到action 动作，产生job（save collect）
9. stage => 遇到shuffle产生新得stage => reduceByKey

Spark 应用程序： 每个进程都相互独立， 每个应用程序中有独立得executor