VMware虚拟机CentOS7系统上安装spark

VMware虚拟机CentOS7系统上安装spark

新建一个文件夹安装软件：

sudo mkdir /opt/software

解压spark:

sudo tar -zxvf spark-2.4.5-bin-hadoop2.7.tgz -C /opt/software/

重命名一下：

sudo mv spark-2.4.5-bin-hadoop2.7/ spark-2.4.5

配置环境变量：

sudo vim /etc/profile.d/env.sh

添加内容：

export JAVA_HOME=/opt/moudle/jdk1.8.0_251
export JRE_HOME=${JAVA_HOME}/jre
export SCALA_HOME=/opt/moudle/scala-2.11.12
export SPARK_HOME=/opt/software/spark-2.4.5
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${SCALA_HOME}/sbin:${SPARK_HOME}/bin::$PATH

使其生效：

. /etc/profile.d/env.sh

测试：

echo $SPARK_HOME

进入spark的conf目录：

cd $SPARK_HOME/conf

配置文件复制一份：

 cp spark-env.sh.template spark-env.sh

编辑：

vim spark-env.sh

查找MASTER：输入/MARSTER可以查找

修改为：

conf目录下复制一份slaves:

 cp slaves.template slaves

编辑：

vim slaves

在最后增加：

将刚刚所做的配置复制到其他节点：

scp -r /opt/software/spark-2.4.5/ zxy1@hadoop2:/home/zxy1/Documents/spark-2.4.5
scp -r /opt/software/spark-2.4.5/ zxy1@hadoop3:/home/zxy1/Documents/spark-2.4.5

在hadoop2、hadoop3上把改文件移到/opt/software下：

sudo mv spark-2.4.5/ /opt/software/spark-2.4.5

在hadoop1上启动：

cd /opt/software/spark-2.4.5/sbin
./start-all.sh

在本地电脑上登录浏览器查看虚拟机的里面spark的状态：

输入spark-shell: