Spark任务部署模式之yarn-client与yarn-cluster的区别

Spark任务部署模式之yarn-client与yarn-cluster的区别

Spark on Yarn的方式有两种，分别是yarn-client和yarn-cluster，这是在Spark提交任务时通过Spark-submit --deploy-mode指定的，这两种模式有什么区别呢？什么时候使用客户端模式，什么情况使用集群模式呢？
其实最大的区别在于当任务工作后，Dirver端进程在哪里启动？
1.我们使用spark-submit提交任务的所在节点，也就是Master节点，使用客户端模式时，其节点启动和分布情况如下图所示：
Driver端也就是main()启动的节点正好就是spark-submit所在的节点，client 模式下Master和Worker节点必须处于同一片局域网内，因为Driver要和Executor端通信，例如Driver需要将Jar包与依赖的文件（–jars --files提交的依赖文件）通过Netty HTTP分发到Executor端，同时Driver要给Executor分配任务等。

2.而启动方式为集群模式时，其Master，Worker ,Driver的依赖关系则变成了下图所示。

此时，Driver端可能启动子在集群的任何一台Worker节点上，但不会是在Master所在的节点上。cluster mode下Master可以使用–supervise对Driver进行监控，如果Driver挂了可以自动重启，另外cluster mode下Master节点和Worker节点一般不在同一局域网，因此就无法将Jar包分发到各个Worker，所以cluster mode要求必须提前把Jar包放到各个Worker几点对应的目录下面。
总而言之如果提交任务的节点（即Master）和Worker集群在同一个网络内，此时client mode比较合适；如果提交任务的节点和Worker集群相隔比较远，就会采用cluster mode来最小化Driver和Executor之间的网络延迟。测试环境一般使用客户端模式，生产环境使用集群模式启动。