超详细Spark开发环境搭建，学就会

点击下载spark安装包

本次spark安装包的版本是spark-3.0.0

一、搭建spark环境

1.进入到spark目录下进行解压至/root下

[root@master wenjian]# tar -zxvf spark-3.0.0-bin-hadoop2.7.tgz -C /root/

2.进入到/root目录下修改spark名称（不然名字太长了）

[root@master ~]# mv spark-3.0.0-bin-hadoop2.7/ spark

3.进入到spark的配置文件下

[root@master ~]# cd spark/conf/

4.复制配置文件，保留它的源文件

[root@master conf]# cp spark-env.sh.template spark-env.sh

5.对spark-env.sh文件添加环境变量

[root@master conf]# vim spark-env.sh

在spark-env.sh文件的最后添加环境

export JAVA_HOME=/root/jdk
export SPARK_DIST_CLASSPATH=$(/root/hadoop classpath)

6.在root用户下添加环境变量，并重新进行环境编译

[root@master conf]# vim /root/.bash_profile 

[root@master conf]# source /root/.bash_profile 

 7.直接运行spark进入spark里

[root@master conf]# spark-shell 

启动成功！！！

---

可以日常关注一下，会经常出一些用的上的东西，可以直接在主页搜取！