部署指南——部署模式

Spark Standalone Mode

Spark 提供了一个简单的 standalone 部署模式。您可以手动启动 master 和 worker 来启动 standalone 集群，或者使用我们提供的 launch scripts 脚本。可以为了测试而在单个机器上运行这些进程。

安装 Spark Standalone 集群

安装 Spark Standalone 集群，只需要将编译好的版本部署在集群中的每个节点上。

手动启动一个集群

可以启动一个 standalone master server 通过执行下面的代码：

./sbin/start-master.sh 

一旦启动，master 将会为自己打印出一个 spark://HOST:PORT URL，可以使用它来连接 workers，或者像传递 “master” 参数一样传递到 SparkContext 。。

类似地，可以启动一个或多个 workers 并且通过下面的代码连接到 master ：

./sbin/start-slave.sh <master-spark-URL> 

启动一个 worker 之后，就可以通过 master 的 web UI ( 默认情况下是 http://localhost:8080)查看到了。

Resource Scheduling（资源调度）

可以通过 spark.cores.max 在 Spar