在windowns下安装Anaconda3运行spark

1. 准备工作

1.1需要的软件：
Anaconda3-5.0.0-Windows-x86_64
hadoop-2.7.4
jdk1.8+
spark-2.2.0-bin-hadoop2.7

1.2下载软件
Anaconda 官网下载地址：https://www.continuum.io/downloads
目前最新版本是 python 3.6，默认下载也是 Python 3.6，百度网盘下载地址：http://pan.baidu.com/s/1jIePjPc 密码是：robu 当然，也可以在官网下载最新版本的 Anaconda3，然后根据自己需要设置成 python 3.6

Hadoop 官网下载地址：http://hadoop.apache.org/releases.html

Spark 官网下载地址：http://spark.apache.org/downloads.html

jdk 下载官网地址：http://www.oracle.com/technetwork/java/javase/downloads/index.html

2.安装并在windowns下配置环境变量

Anaconda 安装较为简单，基本都是下一步，为了避免不必要的麻烦，最后默认安装路径，具体安装过程为：
双击安装文件，启动安装程序

点击I Agree 进行下一步操作

点击Next 进行下一步

如果系统只有一个用户选择默认的第一个即可，如果有多个用户而且都要用到 Anaconda ，则选择第二个选项。

为了避免之后不必要的麻烦，建议默认路径安装即可，需要占用空间大约 1.8 G左右。

安装需要一段时间，等待安装完成即可。

到这里就安装完成了，可以将“Learn more about Aanaconda Cloud”Learn more about Aanaconda Support”前的对号去掉，然后点击“Finish”即可。

jdk1.8+也解压到默认的路径下;hadoop-2.7.4和spark-2.2.0-bin-hadoop2.7可以装在任意磁盘下

在windowns下配置环境变量(hadoop/spark/Java)

Java环境变量:

hadoop环境变量:

spark环境变量:

配置path:

上述操作之后,剩下的就是一直点”确定”,这样环境变量就配置好了

4.启动 spark

在启动之前需要在hadoop-2.7.4的bin目录下,安装winutils.exe文件,否则就会报错,错误如下

E:\>spark-shell
Using Spark's default log4j profile: org/apache/spark/log4j-defaults.properties
Setting default log level to "WARN".
To adjust logging level use sc.setLogLevel(newLevel). For SparkR, use setLogLevel(newLevel).
17/06/05 21:34:43