Spark的安装配置(本地模式，standalone模式，standalone HA模式，on-yarn模式)

最新推荐文章于 2023-03-01 19:49:17 发布

hailunw

最新推荐文章于 2023-03-01 19:49:17 发布

阅读量360

点赞数

分类专栏： # 分布式理论文章标签： spark 大数据 linux

本文链接：https://blog.csdn.net/hailunw/article/details/118210168

版权

本文详细介绍了Spark的安装配置过程，包括本地模式、Standalone模式、Standalone高可用（HA）模式以及On-Yarn模式。在每个模式下，都涉及到配置文件的修改、集群分发及任务提交等关键步骤，对于理解和实践Spark在不同环境下的运行具有指导意义。

摘要由CSDN通过智能技术生成

1）本地模式

1.1）下载安装包至MasterNode，并解压缩。

wget https://mirrors.tuna.tsinghua.edu.cn/apache/spark/spark-3.1.2/spark-3.1.2-bin-hadoop3.2.tgz
tar -zxvf spark-3.1.2-bin-hadoop3.2.tgz

1.2) 修改~/.bash_profile文件，然后启动Spark

export Spark_home=/home/user/spark-3.1.2-bin-hadoop3.2
export PATH=$PATH:$Spark_home/bin:$Spark_home/sbin

2）Standalone模式

2.1）修改配置文件/conf/workers，使其包含以下内容。

2.2）修改配置文件/conf/spark-env.sh，使其包含以下内容。

JAVA_HOME=/home/user/jdk1.8.0_202
HADOOP_CONF_DIR=/home/user/hadoop-3.2.2/etc/hadoop/
YARN_CONF_DIR=/home/user/hadoop-3.2.2/etc/hadoop/
SPARK_MASTER_HOST=192.168.1.66
SPARK_MASTER_PORT=7077
SPARK_MASTER_WEBUI_PORT=16161
SPARK_WORKER_CORES=2
SPARK_WORKER_MEMORY=2g

2.3）将配置好的Spark包分发到Slave1节点和Slave2节点。然后启动集群。

scp -r /home/user/spark-3.1.2-bin-hadoop3.2 user@192.168.1.88:/home/user/spark-3.1.2-bin-hadoop3.2
scp -r /home/user/spark-3.1.2-bin-hadoop3.2 user@192.168.1.99:/home/user/spark-3.1.2-bin-hadoop3.2
scp -r /home/user/.bash_profile user@192.168.1.88:/home/user/.bash_profile
scp -r /home/user/.bash_profile us