Spark有yarn-client和yarn-cluster两种模式,主要区别在于:Driver程序的运行节点。
yarn-client:Driver程序运行在客户端,适用于交互、调试,希望立即看到app的输出。
yarn-cluster:Driver程序运行在由ResourceManager启动的APPMaster适用于生产环境。
1)客户端模式(默认)
解释:
- 左边是提交的submit,右边是yarn模式下,对应的resourcemanager和nodemanager;
- 当提交任务的时候,会通过sparksubmit平台提交到客户端,Driver就在本机,会在driver中做三个操作: