windows平台下安装配置Hadoop

安装配置流程

1.下载Hadoop软件：http://archive.apache.org/dist/hadoop/core/

此处下载版本hadoop-2.7.7，解压至目录(D:jobhadoophadoop-2.7.7)

注：如果后续要安装Spark，那么最好安装和Spark版本对应的Hadoop版本

查看hadoop/spark对应版本：http://spark.apache.org/downloads.html

2.下载其他相关文件(编译后的二进制文件)：https://github.com/steveloughran/winutils

文件解压缩后将其中hadoop-2.7.1下的bin目录移至此处(D:jobhadoophadoop-2.7.7)，去覆盖原有的bin目录

因为原有的bin目录下没有文件(winutils+ hadoop.dll)

注：替换的文件版本要与下载的Hadoop保持对应

其他下载地址：https://pan.baidu.com/s/1o7YTlJO(文件名：hadooponwindows-master)

将目录hadooponwindows-master/bin移至此处(D:jobhadoophadoop-2.7.7)，去覆盖原有的bin目录

3.配置系统变量和环境变量

(1)系统变量：(变量名)HADOOP_HOME (变量值)D:jobhadoophadoop-2.7.7

(2)环境变量(Path)：%HADOOP_HOME%in

测试：调出CMD，输入hadoop，不报错则配置成功

4.将文件D:jobhadoophadoop-2.7.7inhadoop.dll复制到以下位置

D:jobhadoophadoop-2.7.7sbin

C:WindowsSystem32

5.修改Hadoop配置文件

在修改前创建以下目录： D:jobhadoophadoop-2.7.7data

D:jobhadoophadoop-2.7.7datadfs

D:jobhadoophadoop-2.7.7datadfs amenode

D:jobhadoophadoop-2.7.7datadfsdatanode

(1)编辑目录D:jobhadoophadoop-2.7.7etchadoop下的core-site.xml文件

**(2)**编辑目录D:jobhadoophadoop-2.7.7etchadoop下的hdfs-site.xml文件

(3)编辑目录D:jobhadoophadoop-2.7.7etchadoop下的mapred-site.xml文件

(4)编辑目录D:jobhadoophadoop-2.7.7etchadoop下的yarn-site.xml文件

**(5)**编辑目录D:jobhadoophadoop-2.7.7etchadoop下的hadoop-env.cmd文件

注：JAVA_HOME表示Java JDK的安装目录(安装Hadoop前必须安装JVM)

6.格式化HDFS(调出CMD，输入命令hdfs namenode -format)

7.开启四个进程(切换至目录D:jobhadoophadoop-2.7.7sbin下，以管理员身份输入命令start-all.cmd)

测试是否开启成功：输入命令jps

8.测试Hadoop DFS

在浏览器地址栏中输入：http://localhost:50070查看Hadoop状态

在浏览器地址栏中输入：http://localhost:8088查看集群状态

参考博客：https://www.jianshu.com/p/7dec5b348540