Spark-3.0.0安装部署

下载安装Spark

百度网盘下载地址：
链接：https://pan.baidu.com/s/1AUXOgrzluIJYlXJBvGK_FA
提取码：cdca

1.安装Spark

将文件上传到/opt/module/，解压并重命名

tar -zxvf spark-3.0.0-bin-hadoop3.2.tgz
mv spark-3.0.0-bin-hadoop3.2 spark-3.0.0

2.编辑slaves和spark-env.sh文件

cd /opt/module/spark-3.0.0/conf/
mv slaves.template slaves
mv spark-env.sh.template spark-env.sh

vi slaves   在文件中添加集群的主机名称

hadoop102
hadoop103
hadoop104

vi spark-env.sh

导入java地址
export JAVA_HOME=/home/jdk1.8.0_77

添加环境变量

vi /etc/profile

export SPARK_HOME=/opt/module/spark-3.0.0
export PATH=$PATH:$SPARK_HOME/sbin:$SPARK_HOME/bin

每台虚拟机都需要配置

3.分发Spark

scp -r /opt/module/spark-3.0.0/ root@hadoop103:/opt/module/
scp -r /opt/module/spark-3.0.0/ root@hadoop104:/opt/module/

4.启动Spark

启动spark前需先启动hadoop集群

cd /opt/module/spark-3.0.0/
sbin/start-all.sh 
jps

查看各节点进程：
主节点:

从节点：

浏览器访问web页面：
主机名:8080

安装完成；