为什么要使用cluster模式
Spark可以向集群中提交作业,一般生产运营环境我们多建议使用cluster模式向集群提交作业。(和client模式的区别请自行百度)。
理由有四:
1. cluster模式支持 --supervise 参数
Spark standalone or Mesos with cluster deploy mode only:
--supervise If given, restarts the driver on failure.
2. client模式往往需要配合nohup等命令才能保证应用在后台运行,比较麻烦。
3. 提交作业的往往都是同一台机器,将所有driver集中到一个节点的做法不是很明智。
4. 大公司往往只开放YARN平台,Driver和Yarn集群如果不在同一个网段,网络通信带来的影响是巨大的,如果Driver也运行在YARN里就好多了。
cluster也有问题