CC00003.spark——|Hadoop&Spark.V03|——|Spark.v03|sparkcore|Spark集群部署|-CSDN博客

本文详细介绍了Spark的安装过程，包括配置文件的修改、集群的启动与停止，以及解决start-all.sh和stop-all.sh文件冲突的方法，并提供了集群测试的步骤，是大数据环境下Spark集群部署的实用教程。

摘要由CSDN通过智能技术生成

一、Spark官方地址

### --- Spark安装

~~~     官网地址：http://spark.apache.org/
~~~     文档地址：http://spark.apache.org/docs/latest/
~~~     下载地址：http://spark.apache.org/downloads.html
~~~     下载Spark安装包
~~~     下载地址：https://archive.apache.org/dist/spark/
~~~     备注：不用安装scala

二、spark安装

### --- 下载软件解压缩，移动到指定位置

[root@hadoop02 ~]# ls /opt/yanqi/software/spark-2.4.5-bin-without-hadoop-scala-2.12.tgz 
/opt/yanqi/software/spark-2.4.5-bin-without-hadoop-scala-2.12.tgz

[root@hadoop02 ~]# cd /opt/yanqi/software/
[root@hadoop02 software]# tar -zxvf spark-2.4.5-bin-without-hadoop-scala-2.12.tgz -C ../servers/

[root@hadoop02 software]# cd ../servers/
[root@hadoop02 servers]# mv spark-2.4.5-bin-without-hadoop-scala-2.12/ spark-2.4.5

### --- 设置环境变量，并使之生效

[root@hadoop02 ~]# vim /etc/profile
##SPARK_HOME
export SPARK_HOME=/opt/yanqi/servers/spark-2.4.5
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

[root@hadoop02 ~]# source /etc/profile

三、spark配置文件修改

### --- 修改配置：准备配置文件

~~~     文件位置：$SPARK_HOME/conf
~~~     修改文件：slaves、spark-defaults.conf、spark-env.sh、log4j.properties more slaves

~~~     # 准备配置文件

[root@hadoop02 ~]# cd $SPARK_HOME/conf
[root@hadoop02 conf]