Spark环境搭建-windows

Spark环境搭建-windows

一、前置条件

已安装JDK(推荐1.8版本)并设置好环境变量。

二、安装Spark

Spark的安装非常简单，直接去Download Apache Spark。有两个步骤：

1.   选择对应的Hadoop版本的Spark版本(编号1)，如下图所示

2.   下载spark-2.2.0-bin-hadoop2.7.tgz安装包(编号2)

       这里使用的是Pre-built(已经编译过)的版本，下载下来即可直接使用，Spark也有源码可以下载，但是要在本地编译后才能使用。下载完成后将文件进行解压，如可解压到D:\pro_lmf\spark\目录下，并重命名解压文件夹为spark-2.2.0。注意:安装目录不能包含空格!

       解压后基本上可以使用cmd命令执行了。但每次运行spark-shell(spark命令行交互窗口)的时候，需要先cd 到Spark的安装目录下，操作比较麻烦，因此可以将Spark的bin路面添加到系统变量PATH中。如在系统环境变量PATH中添加目录D:\pro_lmf\spark\spark-2.2.0\bin，设置完成后，在任意目录下的cmd命令行中，直接执行spark-shell，即可开启Spark的交互式命令行模式。

三、HADOOP环境设置

系统变量设置后，即可在cmd中运行spark-shell，因Spark是基于hadoop的，直接运行spark会报错，所以要设置一个Hadoop的运行环境。在Hadoop Releases里可以看到Hadoop的历史版本，这里由于下载的Spark是基于Hadoop2.7.1的，选择好相应版本点击后，进入详细下载页面下载标红的版本(已经编译好的)，如下图所示

       下载并解压到指定目录,如D:\pro_lmf\spark\hadoop-2.7.1，设置环境变量HADOOP_HOME为Hadoop的解压目录，然后再设置该目录下的bin目录到系统变量PATH下，PATH变量可为%HADOOP_HOME%\bin。设置好着两个环境变量后,开启一个新的cmd，然后运行spark-shell命令。如果遇到空指针异常，可能因为Hadoop的bin目录下灭有winutils.exe文件造成的。解决办法是，去github上去下载该文件，url为：https://github.com/steveloughran/winutils。下载完成后直接拷贝到D:\pro_lmf\spark\hadoop-2.7.1\bin(hadoop安装目录)即可。打开cmd，输入D:\pro_lmf\spark\hadoop-2.7.1\bin\winutils.exe chmod 777 /tmp/Hive。这个操作是用来修改权限的。注意：D:\pro_lmf\spark\hadoop-2.7.1\bin替换成实际你所安装的目录。

四、运行Spark

在cmd命令行执行spark-shell即可正常运行。