在cenos7中spark集群搭建

前置条件 hadoop安装 jdk安装

点这里hadoop伪分布式搭建教程

安装位置放在/opt/soft中

1.将spark-2.4.7-bin-hadoop2.7.tgz通过xFTP上传

tar -zxvf /opt/soft/spark-2.4.7-bin-hadoop2.7.tgz -C /opt/soft

2.进入/opt/soft

cd /opt/soft

3.解压

tar -zxvf  spark-2.4.7-bin-hadoop2.7.tgz

4.删除 spark-2.4.7-bin-hadoop2.7.tgz

rm -f spark-2.4.7-bin-hadoop2.7.tgz

5.改名

mv spark-2.4.7-bin-hadoop2.7/ spark //注意:中间有空格

6.修改系统变量：

vim /etc/profile

export SPARK_HOME=/opt/soft/spark

export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

7.环境变量生效

source /etc/profile

8.修改配置文件spark-env.sh

进入spark/conf路径

cd /usr/local/src/spark/conf

修改spark-env.sh.template文件名

cp spark-env.sh.template spark-env.sh

进入配置文件

vim spark-env.sh

修改配置文件

#jdk位置
export JAVA_HOME=/opt/soft/jdk
#本机主机名
export SPARK_MASTER_HOST=hadoop1
#端口号
export SPARK_MASTER_PORT=7077
#定义的最大容量
export SPARK_WORKER_MEMORY=1g
#配置环境位置
export SPARK_CONF_DIR=/opt/soft/spark/conf

 

9.修改slaves集群文件，将从节点主机名添加

   复制slaves.template为slaves

cp slaves.template slaves

进入slaves配置文件

vim slaves

在配置文件中添加的其他两个主机名

hadoop2

hadoop3

10.拷到其他机器

拷贝property

scp -r /etc/profile hadoop3:/etc/

scp -r /etc/profile hadoop2:/etc/

拷贝spark文件

scp -r /opt/soft/spark Hadoop2:/opt/soft/src

scp -r /opt/soft/spark Hadoop3:/opt/soft/src

11.分别在其他两个虚拟机生效环境变量

source /etc/profile

12.启动集群

进入spark文件目录下

sbin/start-all.sh

jps查看三台虚拟机是否存在进程