spark3.1.1安装（spark on yarn）

目录

1 安装scala2.12.12

1.1 下载scala2.12.12

1.2 上传解压

1.3 配置环境变量SCALA_HOME

1.4 验证

1.5 分发解压包配置node2,node3机器

2 其他安装

3 spark 安装配置

3.1 下载上传解压

3.2 配置spark-env.sh

3.3 配置spark-defaults.conf

3.4 配置SPARK_HOME

3.5 验证spark 自带的例子PI

4 spark  JobHistoryServer 配置

4.1 现在hdfs 上创建日志聚合目录

4.2 配置spark-defaults.conf

4.3 配置spark-env.sh

4.4 启动

4.5 验证结果

---

• 环境scala2.12.12
• hadoop3.2.2
• centos7

1 安装scala2.12.12

1.1 下载scala2.12.12

https://www.scala-lang.org/download/2.12.12.html

1.2 上传解压

node1

[liucf@node1 softfile]$ tar -xvf scala-2.12.12.tgz -C ../soft

1.3 配置环境变量SCALA_HOME

[liucf@node1 scala-2.12.12]$ sudo vim /etc/profile

[liucf@node1 scala-2.12.12]$ source /etc/profile

1.4 验证

1.5 分发解压包配置node2,node3机器

scp -r scala-2.12.12 liucf@node2:/home/liucf/soft
scp -r scala-2.12.12 liucf@node3:/home/liucf/soft

sudo scp /etc/profile root@node2:/etc
sudo scp /etc/profile root@node3:/etc

source /etc/profile

scala  安装完成

2 其他安装

hadoop3.2.2 安装参考

https://blog.csdn.net/m0_37813354/article/details/116561918

3 spark 安装配置

3.1 下载上传解压

下载

https://mirrors.bfsu.edu.cn/apache/spark/spark-3.1.1/spark-3.1.1-b