Spark集群搭建

一、操作系统设置
1、关闭防火墙
Chkconfig iptables off
2、 设置selinux
修改/etc/selinux/config文件中的SELINUX=disabled
二、配置集群hosts
在/etc/hosts文件中添加以下内容（IP地址和主机名以实际为准）
192.168.85.130 hadoop1
192.168.85.131 hadoop2
192.168.85.132 hadoop3
三、配置服务器间免密码登录
四、安装JDK
rpm -ivh jdk-7u67-linux-x64.rpm
五、安装Scala
解压Scala到相应的目录里，本次解压到/root目录里
tar -xvf scala-2.10.5.tgz
六、安装Spark
解压Spark到相应的目录里，本次解压到/root目录里
tar -xvf spark-1.6.0-bin-hadoop2.6.tgz。
七、配置环境变量
1、在/etc/profile文件里添加以下内容：
export SPARK_HOME=/root/spark-1.6.0-bin-hadoop2.6
export SCALA_HOME=/root/scala-2.10.5
export PATH=$PATH:$SPARK_HOME/bin:$SCALA_HOME/bin
2、使/etc/profile文件生效
执行 source /etc/profile
八、配置Spark
1、配置spark-env.sh文件（文件在spark安装路径下的conf目录里），内容如下：

export SPARK_HOME=/root/spark-1.6.0-bin-hadoop2.6
export HADOOP_CONF_DIR=/root/hadoop-2.6.0-cdh5.10.1/etc/hadoop
export JAVA_HOME=/usr/java/default
export SCALA_HOME=/root/scala-2.10.5
export SPARK_MASTER_IP=hadoop1
export SPARK_WORKER_MEMORY=1g
export SPARK_WORKER_CORES=1
export SPARK_WORKER_INSTANCES=1

2、配置slaves文件如下(配置worker节点)：
hadoop1
hadoop2
hadoop3
3、在三个节点上做同样的配置（也可以在hadoop1上配置完后，拷贝到其他节点上）
九、启动测试
1、启动集群
在hadoop1上执行
/root/spark-1.6.0-bin-hadoop2.6/sbin/start-all.sh
2、分别在三个节点上执行JPS命令，查看进程是否拉起
在浏览器里输入http://hadoop1:8080/，如果能够正确打开，并能看到我们配置的三个worker，说明集群配置成功了

3、运行Spark自带示例进行测试
在hadoop1上执行run-example SparkPi。结果会显示很多信息，如果没有错误日志，说明成功。