windows10安装hadoop3.0.2

1、下载hadoop和winutils

https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-9M9mRHhK-1648545683216)(http://note.youdao.com/yws/res/33110/WEBRESOURCE3910c36f5f798e25bd29b1667df3662b)]

https://github.com/steveloughran/winutils（windows安装需要）

下载相关工具类，直接解压后把文件丢到D:jydigdatahadoop-3.0.2in目录中去，将其中的hadoop.dll在c:/windows/System32下也丢一份；

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Kd3QbLNW-1648545683217)(http://note.youdao.com/yws/res/33113/WEBRESOURCEd9e445b05245e428939cf19bf922ef26)]

配置环境变量HADOOP_HOME中，在PATH里加上%HADOOP_HOME%in；

2、配置

java 路径不能有空格，采用以下配置方式或者没有空格的目录

set JAVA_HOME=C:PROGRA~1Javajdk1.8.0_172

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-78ORvGhS-1648545683218)(http://note.youdao.com/yws/res/33126/WEBRESOURCEd0896cb87e338acc44f025418fccfa20)]

去D:jydigdatahadoop-3.0.2etchadoop找到下面4个文件并按如下最小配置粘贴上去：

core-site.xml

fs.defaultFS

hdfs://localhost:9000

hdfs-site.xml（注意permissions的配置）

dfs.replication

1

dfs.permissions

false

dfs.namenode.name.dir

/D:/hadoop/data/dfs/namenode

dfs.datanode.data.dir

/D:/hadoop/data/dfs/datanode

mapred-site.xml

mapreduce.framework.name

yarn

yarn-site.xml

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler

3、开启hadoop

以下命令均以管理员的权限执行

进入bin目录执行 hadoop namenode -format

cd …sbin

start-all.cmd

jps查看进程

HDFS应用

1、通过http://127.0.0.1:8088/即可查看集群所有节点状态：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-C1f9YAzP-1648545683225)(http://note.youdao.com/yws/res/33156/WEBRESOURCE4702a9cf3f1d56eb702e6c88953585e5)]

2、访问http://localhost:9870/即可查看文件管理页面：

• 进入文件管理页面：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vvZ8eGTS-1648545683226)(http://note.youdao.com/yws/res/33160/WEBRESOURCE04d6f6da9095cbfc94165f929807ae72)]

Note：在之前的版本中文件管理的端口是50070，在3.0.0中替换为了9870端口，具体变更信息来源如下官方说明

http://hadoop.apache.org/docs/r3.0.0/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html#Web_Interface

)