cluster mode
提交程序到集群模式下(cluster mode)运行。在集群模式下,驱动程序是从集群中的一个工作进程启动的,客户机进程在完成提交应用程序的职责后立即退出,而不必等待应用程序完成。
- 使用命令
spark-submit --master spark://1xxx.xxx.xx.x:7077 test.py
- 在代码中创建 SparkContext 对象时
conf = SparkConf().setAppName("appName").setMaster("spark://1xxx.xxx.xx.x:7077")
sc = SparkContext(conf