centos7 spark虚拟机环境安装以及本地安装

小序：本篇文章首先是进行Spark的虚拟机安装，然后进行环境的搭建，接着进行Spark本地系统的变量配置。

所以下面高效的给大家分享Spark的安装步骤！！！

首先：选择自己Hadoop对应的Spark版本下载，不然会不兼容。（我下载的是spark312版本）

Spark下载链接

虚拟机安装

1、拖入：将.tgz安装包传到自己虚拟机安装包文件夹download
2、解压: tar -zxvf spark-3.1.2-bin-hadoop3.2.zip -C /opt/software/
3、改名：mv spark-3.1.2-bin-hadoop3.2 spark312
4、进入spark目录下：cd conf
5、改配置文件名：mv spark-env.sh.template spark-env.sh
6、vim spark-env.sh
7、增加代码：

#spark
export SPARK_MASTER_HOST = 你的虚拟机主机名
export SPARK_MASTER_PORT = 7077

8、进入:vim /etc/profile.d/myenv.sh
9、增加代码：

export HADOOP_CONF_DIR=/opt/software/hadoop313/etc/hadoop
export SPARK_HOME=/opt/software/spark312
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

10、激活全局环境变量：source /etc/profile

11、检查是否完成：
客户端访问：
spark-shell 【本地模式】
启动集群测试：
start-master.sh
start-worker.sh spark://你的用户名:7077

本地系统变量配置

HADOOP_HOME	      D:\software\hadoop313
HADOOP_USER_NAME  root
JAVA_HOME         C:\Program Files\Java\jdk1.8.0_231
JRE_HOME		  C:\Program Files\Java\jre1.8.0_231
SCALA_HOME		  C:\Program Files (x86)\scala
Path		      %JAVA_HOME%\bin;%JRE_HOME%\bin;%SCALA_HOME%\bin;%HADOOP_HOME%\bin;...
CLASSPATH		  %JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar;%JAVA_HOME%\lib\rt.jar;%CATALINA_HOME%\lib\servlet-api.jar;

创建maven工程

在ideal里面选择这个创建，pom文件里面设置的scala版本为2.12.10

成功了！