第一步:增加环境变量
1、将spark-2.2.0-bin-hadoop2.7.tgz上传到/home/hadoop目录下。
2、解压缩spark包:tar zxvf spark-2.2.0-bin-hadoop2.7.tgz。
3、更改spark目录名:mv spark-2.2.0-bin-hadoop2.7 spark-2.2.0
4、设置spark环境变量
vi /etc/profile
export SPARK_HOME=/home/hadoop/cloud/spark-2.2.0
export JAVA_HOME=/apps/jdk1.8.0_144
export SCALA_HOME=/apps/scala-2.11.4
export CLASSPATH=.:
CLASSPATH:
C
L
A
S
S
P
A
T
H
:
JAVA_HOME/lib:
JAVAHOME/jre/libexportPATH=
J
A
V
A
H
O
M
E
/
j
r
e
/
l
i
b
e
x
p
o
r
t
P
A
T
H
=
SCALA_HOME/bin:
SPARKHOME/bin:
S
P
A
R
K
H
O
M
E
/
b
i
n
:
JAVA_HOME/bin:$PATH
source /etc/profile
第二步:修改对应的配置文件
1、cd /home/hadoop/cloud/spark-2.2.0/conf
2、cp spark-env.sh.template spark-env.sh
3、vi spark-env.sh
export JAVA_HOME=/apps/jdk1.8.0_144
export SCALA_HOME=/apps/scala
export SPARK_MASTER_IP=192.168.1.1
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/home/hadoop/cloud/hadoop-2.7.4/etc/hadoop
export SPARK_SSH_OPTS=”-p 37294”
4、vi slaves.template
spark3
spark5
把环境变量配置以及spark配置分别复制到子节点服务器
第三步:启动spark集群
1、在spark目录下的sbin目录
2、执行./start-all.sh
3、使用jsp和8080端口可以检查集群是否启动成功
4、进入spark-shell查看是否正常