Spark2.2.1 on yarn 模式集群安装

假设集群有4台机器，主机名分别为：spark1、spark2、spark3、spark4。

一、前提条件

1、确保集群中已经安装好了hadoop-2.7

hadoop集群安装参考：http://blog.csdn.net/u011563666/article/details/50170465

2、确保集群中每台机器上已经安装好了scala-2.11

二、安装scala(若已经安装好了scala，请跳过该步骤)

我这里下载的是scala版本是scala-2.11.12

1、下载scala

wget https://downloads.lightbend.com/scala/2.11.12/scala-2.11.12.tgz

2、解压

将scala安装在/opt目录下

tar -zxvf scala-2.11.12.tgz -C /opt/

3、配置scala环境变量

使用root用户配置

vim /etc/profile 在其中添加如下内容

export SCALA_HOME=/opt/scala-2.11.12

export PATH=$SCALA_HOME/bin:$PATH

4、使配置生效

source /etc/profile

三、安装spark-2.2.1

1、下载spark

wget http://mirror.bit.edu.cn/apache/spark/spark-2.2.1/spark-2.2.1-bin-hadoop2.7.tgz

2、解压安装包

将spark安装在/opt目录下

tar -zxvf spark-2.2.1-bin-hadoop2.7.tgz -C /opt

mv spark-2.2.1-bin-hadoop2.7 spark-2.2.1 (重命名)

3、配置spark

1）、配置spark运行环境

cp spark-env.sh.template spark-env.sh

vim spark-env.sh，在其中添加如下内容：

export SPARK_MASTER_IP=spark1	#设置spark1主机为master节点
export SCALA_HOME=/opt/scala-2.11.12
export SPARK_WORKER_MEMORY=8g
export JAVA_HOME=/opt/jdk1.8.0_121
export HADOOP_HOME=/part1/hadoop-2.7
export HADOOP_CONF_DIR=/part1/hadoop-2.7/etc/hadoop

2）、配置spark从节点，修改slaves文件

cp slaves.template.template slaves

vim slaves，其内容如下：

spark2
spark3
spark4

4、配置spark环境变量

使用root用户配置

vim /etc/profile 在其中添加如下内容

export SPARK_HOME=/opt/spark-2.2.1

export PATH=$SPARK_HOMEE/bin:$PATH

5、使配置生效

source /etc/profile

6、启动spark集群

在spark1主机上执行命令：start-all.sh

7、登录WebUI查看spark集群信息

http://spark1:8080/