Windows安装Hadoop

注意：

1. Hadoop要求Java的安装目录中不能包括空格
2. Hadoop文件的目录中也不能包括空格

一、下载压缩文件
访问ASF镜像网站：http://mirrors.ibiblio.org/apache/hadoop/common/下载2.7.7的版本hadoop-2.7.7.tar.gz
注：如果在解压的时候报错说没有管理器身份，那么需要在压缩包目录下打开DOS窗口，输入命令start winrar x -y hadoop-2.7.7.tar.gz。

配置：
在hadoop根目录下，新建文件夹workplace。在workplace目录下，新建文件夹tmp和data

打开hadoop根目录\ect\hadoop\core-site.xml，修改文件内容

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/hadoop-2.7.7/workplace/tmp</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/D:/hadoop-2.7.7/workplace/name</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

将hadoop根目录\ect\hadoop目录下的mapred-site.xml.template文件重命名为mapred-site.xml，并修改内容

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>

打开hadoop目录\ect\hadoop\hdfs-site.xml文件，修改文件内容

<configuration>
    <!-- 这个参数设置为1，因为是单机版hadoop -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/D:/hadoop-2.7.7/workplace/data</value>
    </property>
</configuration>

打开hadoop目录\ect\hadoop\yarn-site.xml文件，修改文件内容

<configuration>
<!-- Site specific YARN configuration properties -->
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

打开hadoop目录\ect\hadoop\hadoop-env.cmd文件，修改文件内容：
将set JAVA_HOME=%JAVA_HOME%中的%JAVA_HOME%改成绝对路径
set JAVA_HOME=C:\java\jdk1.8.0_131

下载hadooponwindows-master.zip，下载地址
用hadooponwindows-master.zip中的bin文件夹替换hadoop根目录\bin文件夹

格式化namenode
在hadoop根目录\bin目录下，打开cmd窗口，运行hdfs namenode -format

这样Hadoop的配置就完成了，下面开始运行。
在hadoop根目录\sbin目录下，打开cmd窗口，双击运行start-all.cmd

运行成功后，就可以访问hadoop自带的web控制台GUI了
1.资源管理GUI:http://localhost:8088/
2.节点管理GUI:http://localhost:50070/

本文参考：https://blog.csdn.net/a2099948768/article/details/79577246