centos安装spark

前提

使用的环境是centos7.2,已经安装了jdk 1.8 和hadoop2.7.1，三个服务器节点master，salve1，slave2

1、安装scala

1)下载scala

下载地址
https://www.scala-lang.org/download/
我这里下载了scale 2.11版本

上传压缩包到centos，然后解压
tar -zxvf scala-2.11.6.tgz

2)配置环境变量

vim /etc/profile
添加配置

export SCALA_HOME=/home/hadoop/scala-2.11.6
export PATH=$PATH:$SCALA_HOME/bin

使配置生效
source /etc/profile
查看版本号
scala -version

2、安装spark

1）下载spark

下载地址
https://www.scala-lang.org/download/

上传到centos，解压

2）配置环境变量

vim /etc/profile
添加配置

export SPARK_HOME=/home/hadoop/spark-2.3.3-bin-hadoop2.7
export PATH=$PATH:$SPARK_HOME/bin

使配置生效
source /etc/profile

3）配置spark

（1）进入conf文件夹，把spark-env.sh.template复制一份spark-env.sh
cp spark-env.sh.template spark-env.sh
加入以下配置

export JAVA_HOME=/home/hadoop/jdk1.8.0_25
export SCALA_HOME=/home/hadoop/scala-2.11.6
export HADOOP_HOME=/home/hadoop/hadoop-2.7.1
export SPARK_HOME=/home/hadoop/spark-2.3.3-bin-hadoop2.7
export SPARK_MASTER_IP=master
export SPARK_MASTER_PORT=7077

（2）进入conf文件夹，把slaves.template拷贝一份改名为slaves
cp slaves.template slaves
删除localhost加入以下配置
maser slave1 slave2为3个服务器的别名（也可以写ip地址）

（3）将scala和spark都复制一份到slave1和slave2节点（其它所有节点）

   scp -r   /home/hadoop/spark-2.3.3-bin-hadoop2.7 slave1:/home/hadoop/
   scp -r   /home/hadoop/scala-2.11.6 slave1:/home/hadoop/

并且每个节点的环境变量都要同样配置，并且spark包中的配置的节点名称或者ip地址也要做相应的修改

3、启动spark

进入master节点
先跑起hadoop，进入hadoop安装包
/sbin/start-all.sh
在进入spark安装包
/sbin/start-all.sh
然后我们jps，我们看到了Master进程，说明我们已经启动了spark
我们远程查看一下，ui默认地址为8080