spark-期末项目

Spark3.0.0集群搭建
前言
集群搭建具体步骤
Standalone模式
1、下载`spark-3.0.0`的jar包
2、上传并解压
3、配置SPARK_HOME环境变量
4、修改配置
4.1 修改 spark-defaults.conf
4.2 修改spark-env.sh
4.3 修改slaves文件
5、将spark-3.0.0-bin-hadoop3.2 目录分发到其他节点
6、启动Spark集群
7、在web界面查看Spark UI
8、测试
Yarn模式
1、开启 hdfs、yarn服务
2、修改Hadoop中的 yarn-site.xml 配置
3、修改Spark配置，分发到集群
4、向hdfs上传spark纯净版jar包
5、测试
client运行模式
cluster运行模式

集群搭建具体步骤

Standalone模式

1、下载spark-3.0.0的jar包

下载地址：
https://archive.apache.org/dist/spark/spark-3.0.0/spark-3.0.0-bin-hadoop3.2.tgz

2、上传并解压

将下载好的 spark-3.0.0-