spark安装

1.下载spark安装包

下载地址spark官网：http://spark.apache.org/downloads.html
这里我们使用 spark-2.2.0-bin-hadoop2.7版本.

2.上传压缩包并解压

这里我们上传到第一台机子 /export/servers 目录下，并执行以下命令：

tar -zxvf spark-2.2.0-bin-hadoop2.7.tgz

3.修改配置文件

修改spark-env.sh

cd /export/servers/spark-2.2.0-bin-hadoop2.7/conf
cp spark-env.sh.template spark-env.sh
vi  spark-env.sh 

#配置java环境变量
export JAVA_HOME=/export/servers/jdk1.8.0_144
#指定spark老大Master的IP
export SPARK_MASTER_HOST=node01
#指定spark老大Master的端口
export SPARK_MASTER_PORT=7077

修改slave

cd /export/servers/spark-2.2.0-bin-hadoop2.7/conf
cp  slaves.template slaves
vi  slaves

node02
node03

4.拷贝配置到其他主机

scp -r /export/servers/spark-2.2.0-bin-hadoop2.7 node02:/export/servers
scp -r /export/servers/spark-2.2.0-bin-hadoop2.7 node03:/export/servers

5.配置spark环境变量

三台机器都要执行

vi /etc/profile

export SPARK_HOME=/export/servers/spark-2.2.0-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

刷新配置

source /etc/profile

6.启动spark

在主节点启动spark

/export/servers/spark-2.2.0-bin-hadoop2.7/sbin/start-all.sh 

停止spark

/export/servers/spark-2.2.0-bin-hadoop2.7/sbin/stop-all.sh 

7.spark的web界面

正常启动spark集群后，可以通过访问 http://node01:8080,查看spark的web界面，查看相关信息。