Spark Standalone模式与测试

版本配置：

spark-2.1.1-bin-hadoop2.7.tgz

hadoop2.7.3

 

Standalone  模式

概述

构建一个由 Master+Slave 构成的 Spark 集群，Spark 运行在集群中。

2.4.2  安装使用

spark包解压后进入目录 /usr/local/BigDataApp/spark-2.1.1-bin-hadoop2.7

1）进入 spark-2.1.1-bin-hadoop2.7 安装目录下的 conf 文件夹
2）修改配置文件名称

cp slaves.template slaves
cp spark-env.sh.template spark-env.sh
cp spark-defaults.conf.template spark-defaults.conf

# 可以cp可以mv，为了保险我使用的cp

3）修改 slave 文件，添加 work 节点：
vim slaves

master
slave1
slave2
slave3

4）修改