Spark集群搭建

一、环境准备

（1）集群：hadoop01,hadoop02,hadoop03
（2）jdk1.8、spark1.6

二、集群搭建

（1）解压安装包到linux下的:/usr/local
tar -zxvf /home/spark-1.6.1-bin-hadoop2.6.tgz -C /usr/local

（2）进入解压目录的conf目录，修改spark-env.sh
#指定jdk目录
export JAVA_HOME=/usr/java/jdk1.7.0_45
#指定master的主机名
export SPARK_MASTER_IP=hadoop01
#指定master的端口
export SPARK_MASTER_PORT=7077
#指定hadoop安装目录
export HADOOP_HOME=${HADOOP_HOME}
#指定hadoop配置目录
export HADOOP_CONF_DIR=${HADOOP_HOME}/etc/hadoop

（3）重命名conf目录下的slaves.template为slaves,并向该文件中添加如下内容（指定slaves节点的主机名）：
hadoop02
hadoop03

（4）将spark目录发送到其余节点：
scp -r /usr/local/spark hadoop02:/usr/local

（5）启动测试：
进入spark安装目录下的sbin目录，运行如下命令：
start-all.sh

集群启动好后，用浏览器访问：http://Master主机名：8080/
如果访问成功，则说明spark集群搭建成功