windows中安装Spark

1、首先安装JDK并配置好相应的环境变量

2、下载Spark：http://spark.apache.org/downloads.html

选择预编译re-built版本，下载后直接使用，无需安装。下载完后解压到一个磁盘的跟目录下，如D:\Spark

配置环境变量，设置SPARK_HOME=D:\Spark,并将D:\Spark\bin 或 %SPARK_HOME%\bin添加到path中

3、下载并安装hadoop

下载地址：https://archive.apache.org/dist/hadoop/common/

下载完后建议同样解压到相应的磁盘根目录下，如D:\hadoop-2.7.1

配置环境变量，设置HADOOP_HOME=D:\hadoop-2.7.1，并将D:\hadoop-2.7.1\bin 或 %HADOOP_HOME%\bin添加到path中

此时打开一个新的dos界面，执行spark-shell，如报空指针错误，到https://github.com/steveloughran/winutils中去下载相应版本的winutils.exe，并将其放到hadoop的bin目录下。

再次打开一个新的dos界面，执行spark-shell，如果报以下错误，请执行步骤4：The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx-wx--x

4、安装Cygwin（此处参考http://www.cnblogs.com/kinglau/archive/2013/08/20/3270160.html）

下载地址：http://www.cygwin.com/

根据操作系统的需要下载32位或64的安装文件。
　　1)、双击下载好的安装文件，点击下一步，选择install from internet

　　2）、选择安装路径
　　3）、选择local Package Directory
　　4）、选择您的Internet连接方式
　　5）、选择合适的安装源，点击下一步

　　6）、在Select Packages界面里，Category展开net，选择如下openssh和openssl两项
　　
　　　　如果要在Eclipe上编译Hadoop，需要安装Category为Base下的sed

　　　　如果想在Cygwin上直接修改hadoop的配置文件，可以安装Editors下的vim

　　7）、点击“下一步”，等待安装完成

安装完毕后，打开Cygwin并执行：hadoop fs -chmod 777 C:/tmp/hive