虚拟机spark安装

虚拟机上安装

1、将spark-3.1.2-bin-hadoop3.2.zip安装包传到download
2、解压 tar -zxvf spark-3.1.2-bin-hadoop3.2.zip -C /opt/software/
3、改名：mv spark-3.1.2-bin-hadoop3.2 spark312
4、进入：cd conf
5、改名：mv spark-env.sh.template spark-env.sh
6、vim spark-env.sh
7、增加：

export SPARK_MASTER_HOST=你的用户名
export SPARK_MASTER_PORT=7077

8、进入:vim /etc/profile.d/myenv.sh
9、增加：

export HADOOP_CONF_DIR=/opt/software/hadoop313/etc/hadoop
export SPARK_HOME=/opt/software/spark312
export PATH=$SPARK_HOME/bin:$SPARK_HOME/sbin:$PATH

10、激活环境变量：source /etc/profile

检查是否完成

//客户端访问
spark-shell 本地模式
//启动集群测试
start-master.sh
start-worker.sh spark://你的用户名:7077

本地系统变量配置

HADOOP_HOME			D:\software\hadoop313
HADOOP_USER_NAME	root
JAVA_HOME			C:\Program Files\Java\jdk1.8.0_231
JRE_HOME			C:\Program Files\Java\jre1.8.0_231
SCALA_HOME			C:\Program Files (x86)\scala
Path				%JAVA_HOME%\bin;%JRE_HOME%\bin;%SCALA_HOME%\bin;%HADOOP_HOME%\bin;...
CLASSPATH			%JAVA_HOME%\lib\dt.jar;%JAVA_HOME%\lib\tools.jar

创建maven工程

选择这个创建，在pom文件里设置scala版本为2.12.10

完成了！