JDK环境搭建以及Spark安装（单机）

Spark是目前除了Hadoop之外运用最广泛的大数据平台，与Hadoop相比，Spark分析效率更高，更加适用于实时分析。

安装Spark（单机）

注意：在安装spark之前要先搭建将Java环境，java环境搭建在后面（之前已经搭建好的直接安装就行）

（这里用到的Spark版本为spark-2.4.3-bin-hadoop2.7），这里的hadoop指的是这个Spark平台与hadoop平台的兼容性。

1. 到官方网站中下载对应的Spark版本（spark下载地址）
2. 进入安装目录，将下载好的安装包进行解压

 tar -xvf spark-2.4.3-bin-hadoop2.7.tgz

3. 将解压后的文件夹移动到opt目录中

 mv spark-2.4.3-bin-hadoop2.7 /opt/

这里为了方便，可以将文件夹的名字修改成Spark

mv spark-2.4.3-bin-hadoop2.7 spark

4. 配置环境变量

[root@localhost opt]# vim /etc/profile
在文件的最后添加
#Spark
export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin
[root@localhost opt]# source /etc/profile (使修改生效)

5. 配置spark-env.sh

[root@localhost opt]# cd spark/conf/
[root@localhost conf]# mv spark-env.sh.template spark-env.sh
[root@localhost conf]# vim spark-env.sh 
在文件中添加：
export JAVA_HOME=/opt/jdk
export SPARK_MASTER_PORT=7077

6. 启动spark

[root@localhost spark]# ./sbin/start-master.sh 

8. 验证安转是否成功