spark架构总结

spark架构可分为：driver（进程），executor（进程），task（进程）
1. driver（进程）
主要功能：初始化操作，发送请求给集群master，注册spark应用程序。master在接受spark应用程序注册申请后，发送请求给worker，进行资源（executor）调度和分配。driver运行在提交spark任务的机器上。执行action之前transformation和程序都运行在driver上（lazy），只有在有action操作后，提交task到之前注册的worker上的executor上执行。
2. executor（进程）
主要功能：worker（进程）在接受到master的请求之后，成为spark应用程序的executor，并在driver上进行反注册，，负责自己内存中存储的RDD的partition，启动其他进程和线程，对RD上的partition进行计算处理。executor启动多个线程执行tast执行各种算子操作。