windows下hadoop-2.9.1的伪分布式安装

1.安装jdk
jdk1.8_172下载路径
http://download.oracle.com/otn-pub/java/jdk/8u172-b11/a58eab1ec242421181065cdc37240b08/jdk-8u172-windows-x64.exe?AuthParam=1527264447_181ad34de9a74051ef8591a3fdf7ba40
双击运行安装

点击更改，将安装路径修改为C:/software/jdk1.8
配置JAVA_HOME=C:/software/jdk1.8
将 %JAVA_HOME%\bin; 添加到PATH中
2.安装hadoop
hadoop下载路径
https://archive.apache.org/dist/hadoop/common/
选择hadoop-2.9.1目录中的hadoop-2.9.1.tar.gz
解压缩，会得到hadoop-2.9.1
将解压后的文件移动到安装目录C:/software/下，安装目录可以任意指定
配置HADOOP_HOME=C:/software/hadoop-2.9.1
将 %HADOOP_HOME%\bin; %HADOOP_HOME%\sbin; 添加到PATH中
打开cmd，输入hadoop version， 如果出现下图内容，说明配置成功

3.配置hadoop的伪分布式的文件
方件位于%HADOOP_HOME%\etc\hadoop目录中
3.1 hadoop-env.cmd
将文件中的 set JAVA_HOME=%JAVA_HOME% 替换成 set JAVA_HOME=C:\software\jdk1.8
3.2 core-site.xml
将文件中内容全部删除，增以下内容

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
            <name>fs.defaultFS</name>  
            <value>hdfs://127.0.0.1:9000</value>  
    </property>
    <property>
            <name>hadoop.tmp.dir</name>  
            <value>/C:/software/hadoop-2.9.1/tmp</value>  
    </property>
    <property>
            <name>dfs.namenode.name.dir</name>
            <value>/C:/software/hadoop-2.9.1/name</value>
     </property>
</configuration>

在C:/software/hadoop-2.9.1中创建tmp文件夹和name文件夹
3.3 hdfs-site.xml
将文件中内容全部删除，增以下内容

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>

<configuration>
    <property> 
        <name>dfs.replication</name>    
        <value>1</value>    
    </property>                
</configuration>

3.4 复制mapred-site.xml.template，并将复制出的文件命名为mapred-site.xml
将文件中内容全部删除，增以下内容

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
    <property>
            <name>mapreduce.framework.name</name>
            <value>yarn</value>
    </property>
</configuration>

3.5 yarn-site.xml
将文件中内容全部删除，增以下内容

<?xml version="1.0"?>
<configuration>
    <property>    
        <name>yarn.nodemanager.aux-services</name>    
        <value>mapreduce_shuffle</value>    
    </property>  
    <property>
        <name>yarn.resourcemanager.hostname</name>
        <value>127.0.0.1</value>
    </property> 
</configuration>

4.在windows下启动需要依赖winutils.exe和一些.dll文件，可从下面的链接获取
https://download.csdn.net/download/a781136776/10438710
将压缩文件bin目录下的所有文件复制到%HADOOP_HOME%\bin目录，不要覆盖%HADOOP_HOME%\bin原有文件
5.启动hadoop
5.1 打开cmd
5.2 输入 hdfs namenode -format 并执行
5.3 输入 start-all.cmd 并执行
只在第一次启动前执行hdfs namenode -format命令
6.停止hadoop
6.1 打开cmd
6.2 输入 stop-all.cmd 并执行