Spark集群安装

1 下载spark安装包

下载地址spark官网：http://spark.apache.org/downloads.html
这里我们使用 spark-2.0.2-bin-hadoop2.7版本.

2 规划安装目录

mkdir /opt/bigdata

3 上传,解压安装包

tar -zxvf spark-2.0.2-bin-hadoop2.7.tgz

4 重命名目录

mv spark-2.0.2-bin-hadoop2.7 spark

5 修改配置文件

配置文件目录在 /opt/bigdata/spark/conf
1.先把spark-env.sh.template重命名为spark-env.sh
2.vi spark-env.sh 修改文件

#配置java环境变量
export JAVA_HOME=/opt/bigdata/jdk1.7.0_67
#指定spark老大Master的IP
export SPARK_MASTER_HOST=hdp-node-01
#指定spark老大Master的端口
export SPARK_MASTER_PORT=7077

3.vi slaves 修改文件(先把slaves.template重命名为slaves)
注意
末尾删除lockhost
加入其它虚拟机ip

6 拷贝配置到其他主机

通过scp 命令将spark的安装目录拷贝到其他机器上

scp -r /opt/bigdata/  node02/opt/bigdata

这里的node02指的是ip，写入自己的虚拟机ip

7 配置spark环境变量

将spark添加到环境变量,添加以下内容到 /etc/profile

export SPARK_HOME=/opt/bigdata/spark
export PATH=$PATH:$SPARK_HOME/bin

注意最后 source /etc/profile 刷新配置

8 启动spark

#在主节点上启动spark

/opt/bigdata/spark/sbin/start-all.sh 

9 停止spark

#在主节点上停止spark集群

/opt/bigdata/spark/sbin/stop-all.sh

10 spark的web界面

正常启动spark集群后，可以通过访问 http://hdp-node-01:8080,查看spark的web界面，查看相关信息。

ok搭建成功！！！