Spark中master、worker、executor和driver的关系
参考来源1
master是大哥,worker是工人小弟们。master大哥有一个副手老二叫driver,手上管着一批货物executor(memory cpu等资源),老二会问大哥咋分给小弟们呢,大哥说哎,就这么分,张三比较菜(worker)搬两箱(executor),李四能者多劳(worker)搬五箱(executor)。
但是重点不是搬货物完了就行,货箱里的材料还需要不断返工和沟通来完成成品制作。就需要小弟们不断沟通,不断请示大哥。
假设这次做工,是做衣服。需要有织布、印染、打版、裁剪等等工序。而大家