Windows7下配置spark环境记录

一、前言

最近在学习大数据相关的知识，在自己的笔记本上搭建了spark环境，本文是记录了这次搭建环境中的步骤，如有问题，欢迎指正。

二、下载准备

1. spark下载

spark下载网站 http://spark.apache.org/downl...
在上述网站上找到 Download Spark: spark-x.x.x-bin-hadoopx.x.tgz 点击即可下载最新版本的spark,也可以选择老的版本。

2. scala下载

scala下载网站 http://www.scala-lang.org/dow...

3.hadoop下载

hadoop镜像网站 http://www.apache.org/dyn/clo...
在这个网站上选择一个镜像网站，例如 http://mirrors.hust.edu.cn/ap...
然后在对应的hadoop版本号下，选择hadoop-x.x.x.tar.gz下载解压，一般这个要与spark下载时文件名上的hadoop的版本一致。

4.winutil下载

这个软件是为了是hadoop可以兼容在windows下运行，在github上可以找到很多。这是我下载用过的网址

• win32版本 https://github.com/andygoldsm...
• win64版本 https://github.com/stevelough...

版本好要和自己下载的hadoop版本的hadoop版本对应，下载解压后到 bin/ 目录下执行winutils.exe chmod -R 777 C:/tmp/hive 即可，盘符可换。

三、配置环境变量

解压上述下载的文件到对应目录后，然后配置环境变量，下面的是我的配置
SCALA_HOME  : C:\Program Files (x86)\scala2.11.7;
JAVA_HOME   : C:\Program Files\Java\jdk1.8.0_51
HADOOP_HOME : C:\Hadoop\winutils-master\hadoop-2.7.1
SPARK_HOME  : C:\Hadoop\spark-2.2.0-bin-hadoop2.7
PATH    : %JAVA_HOME%\bin;%SCALA_HOME%\bin;%HADOOP_HOME%\bin;%SPARK_HOME%\bin

在命令行下运行spark-shell,这样就进入了scala语法的spark-shell。

四、python环境配置

需要将下载后的spark目录下的./python/pyspark复制到python安装目录下的./Lib/site-packages目录下，然后就可以在python代码中import pyspark了，当然也可以在命令行下执行pyspark直接进入python版本的spark-shell