win10安装spark on hadoop流程

转自：https://blog.csdn.net/NJYR21/article/details/80291630

 

说明
安装步骤分为java，scala，spark和hadoop四步，以下是对我整个安装过程的记录。

一、安装JDK
官网下载了8u172版本。点击打开链接

安装完毕以后，添加环境变量JAVA_HOME、增加环境变量path路径。

打开cmd键入java -version，看到如下界面说明java安装成功。

二、安装scala
官网下载了msi格式，并安装成功。点击打开链接

增加path环境变量路径

打开cmd键入scala，出现如下图片说明配置成功。

三、安装spark
官网下载最新版本。点击打开链接

下载完毕后，解压在某全英文目录下。

添加环境变量SPARK_HOME，添加环境变量path路径。

打开cmd键入spark-shell，看到如下图片说明spark配置成功。

此时会出现一个hadoop错误，可以忽略，等到hadoop配置完毕既能解决。

四、安装hadoop
官网下载hadoop 2.8.3。点击打开链接

下载完毕后解压到某一全英文目录下。

添加环境变量HADOOP_HOME，添加环境变量path路径。

因为bin目录缺少winutils.exe，所以去git上下载相应版本的bin替换即可。点击打开链接

打开cmd键入spark-shell，可以看到scala、java的版本，spark自此配置成功。

--------------------- 
作者：NJYR21 
来源：CSDN 
原文：https://blog.csdn.net/NJYR21/article/details/80291630 
版权声明：本文为博主原创文章，转载请附上博文链接！