Windows下单机安装Spark开发环境

机器：windows 10 64位。

Java下Spark开发环境搭建

1.1、jdk安装

安装oracle下的jdk，我安装的是jdk 1.8，安装完新建系统环境变量JAVA_HOME，变量值为“C:\Program Files\Java\jdk1.8”，视自己安装路劲而定。

同时在系统变量Path下添加C:\Program Files\Java\jdk1.8\bin和C:\Program Files\Java\jre8\bin。

1.2 spark环境变量配置

spark官网下载相应hadoop对应的版本，我下载的是spark-2.2.1-bin-hadoop2.7.tgz

解压下载的文件，假设解压 目录为：D:\spark-2.2.1-bin-hadoop2.7。将D:\spark-2.2.1-bin-hadoop2.7\bin添加到系统Path变量，同时新建SPARK_HOME变量，变量值为：D:\spark-2.2.1-bin-hadoop2.7

1.3 hadoop工具包安装

spark是基于hadoop之上的，运行过程中会调用相关hadoop库，如果没配置相关hadoop运行环境，会提示相关出错信息，虽然也不影响运行，但是这里还是把hadoop相关库也配置好吧。

1.3.1 去下载hadoop 2.7， 官网下载hadoop-2.7.1.tar.gz

1.3.2 解压下载的文件夹，将相关库添加到系统Path变量中：D:\hadoop-2.7.1\bin；同时新建HADOOP_HOME变量，变量值为：D:\hadoop-2.7.1

1.4 eclipse环境

直接新建java工程，将D:\spark-2.2.1-bin-hadoop2.7\jars下的jar添加到工程中就可以了。