spark完全分布式安装

Spark完全分布式安装

1. 下载正确的java, scala(注意下载.tgz版本)安装并配置环境变量(省略)

2. 下载spark，然后配置slaves和spark-env.sh

cp slaves.template slaves
cp spark-env.sh.template spark-env.sh

Spark-env.sh(可不配置，此时采用默认参数):

slaves:

3.配置spark的环境变量

4.将spark文件夹复制到node2和node3上

scp –r spark node2:/usr/software/spark
scp –r spark node3:/usr/software/spark

5.将配置文件传到node2和node3上并使其即时生效(省略)

6.修改conf/spark-defaults.conf:

添加spark.master spark://node1:7077 此行默认将程序跑在集群上，避免后续每次加参数spark-shell –master spark://node1:7077