本文探讨了为何在Spark集群部署中选择cluster模式，包括--supervise参数支持、避免driver集中等问题。然而，cluster模式在处理第三方JAR包时存在挑战，由于driver节点的不确定性导致类找不到异常。文章指出，尽管可以通过--packages、--jars等参数传递JAR，但在cluster模式下不适用。社区建议构建包含所有依赖的“assemble jar”。解决办法是将第三方库代码整合进作业JAR包，例如使用gradle shadow插件来构建。
Spark可以向集群中提交作业，一般生产运营环境我们多建议使用cluster模式向集群提交作业。（和client模式的区别请自行百度）。
理由有四：
1. cluster模式支持 --supervise 参数
Spark standalone or Mesos with cluster deploy mode only:
--supervise If given, restarts the driver on failure.
2. client模式往往需要配合nohup等命令才能保证应用在后台运行，比较麻烦。
3. 提交作业的往往都是同一台机器，将所有driver集中到一个节点的做法不是很明智。
4. 大公司往往只开放YARN平台，Driver和Yarn集群如果不在同一个网段，网络通信带来的影响是巨大的，如果Driver也运行在YARN里就好多了。
412
619
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
最低0.47元/天 解锁文章
