Spark集群的安装

Spark集群的安装步骤

1.下载编译好的对应版本到目标文件夹中。
2.修改conf目录中的spark-env.sh文件，添加以下内容：
export JAVA_HOME=/usr/java/jdk1.7.0_45
export SPARK_MASTER_IP =cloudera-a
export SPARK_MASTER_PORT = 7077
3.修改slaves文件，添加以下内容：
cloudera-a
cloudera-b
cloudera-c
cloudera-d
4.将配置好的Spark拷贝到其他节点上
scp -r spark-*-bin-hadoop2.6/ cloudera-a:/usr/local/
scp -r spark-*-bin-hadoop2.6/ cloudera-b:/usr/local/
scp -r spark-*-bin-hadoop2.6/ cloudera-c:/usr/local/
scp -r spark-*-bin-hadoop2.6/ cloudera-d:/usr/local/
5.关闭所有节点上的防火墙
6.配置各个节点的免密登录,执行指令如下：

1.在登录方生成密钥对，执行密令：ssh-keygen -t -rsa
2.执行指令 ssh-copy-id cloudera-b，即可免密登录b主机
3.若指令2无效，则scp id_rsa.pub cloudera-b:/home，把密钥先发到目标主机b的某个文件下
4.将该文件内容复制粘贴，加入到目标主机b上的授权文件中 ~/.ssh/authorized_keys
5.cat ./id_rsa.pub >> ./authorized_keys

7.在master节点上启动start-all.sh 打开http://cloudera-a:8080/查看集群状态。