1、首先安装JDK并配置好相应的环境变量
2、下载Spark:http://spark.apache.org/downloads.html
选择预编译re-built版本,下载后直接使用,无需安装。下载完后解压到一个磁盘的跟目录下,如D:\Spark
配置环境变量,设置SPARK_HOME=D:\Spark,并将D:\Spark\bin 或 %SPARK_HOME%\bin添加到path中
3、下载并安装hadoop
下载地址:https://archive.apache.org/dist/hadoop/common/
下载完后建议同样解压到相应的磁盘根目录下,如D:\hadoop-2.7.1
配置环境变量,设置HADOOP_HOME=D:\hadoop-2.7.1,并将D:\hadoop-2.7.1\bin 或 %HADOOP_HOME%\bin添加到path中
此时打开一个新的dos界面,执行spark-shell,如报空指针错误,到https://github.com/steveloughran/winutils中去下载相应版本的winutils.exe,并将其放到hadoop的bin目录下。
再次打开一个新的dos界面,执行spark-shell,如果报以下错误,请执行步骤4:The root scratch dir: /tmp/hive on HDFS should be writable. Current permissions are: rwx-wx--x
4、安装Cygwin(此处参考http://www.cnblogs.com/kinglau/archive/2013/08/20/3270160.html)
下载地址:http://www.cygwin.com/
根据操作系统的需要下载32位或64的安装文件。
1)、双击下载好的安装文件,点击下一步,选择install from internet
2)、选择安装路径
3)、选择local Package Directory
4)、选择您的Internet连接方式
5)、选择合适的安装源,点击下一步
6)、在Select Packages界面里,Category展开net,选择如下openssh和openssl两项
如果要在Eclipe上编译Hadoop,需要安装Category为Base下的sed
如果想在Cygwin上直接修改hadoop的配置文件,可以安装Editors下的vim
7)、点击“下一步”,等待安装完成
安装完毕后,打开Cygwin并执行:hadoop fs -chmod 777 C:/tmp/hive