windows安装hadoop3.1.2-单机版

一、基本信息

    hadoop版本：3.1.2
    操作系统：win10
    jdk版本：1.8  

二、安装过程

1、安装jdk1.8，并配置环境变量。
2、安装配置hadoop
    解压hadoop安装文件到安装目录
    配置HADOOP_HOME环境变量，并在path中加入%HADOOP_HOME%\bin;%HADOOP_HOME%\sbin;
    下载windows编译过的bin文件夹，可以到这个地址下载：
        https://github.com/cdarlint/winutils
    
    修改配置文件hadoop-env.cmd
        设置JAVA_HOME(如果路径中包含Program Files使用PROGRA~1代替)
        set JAVA_HOME=C:\PROGRA~1\java\jdk1.8

    (1)修改hdfs-site.xml
    configuration节点下加入如下配置
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property> 
        <name>dfs.permissions.enabled</name> 
        <value>false</value> 
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/develop/hadoop/data/namenode</value>
    </property>
    <property>
        <name>fs.checkpoint.dir</name>
        <value>/D:/develop/hadoop/data/snn</value>
    </property>
    <property>
        <name>fs.checkpoint.edits.dir</name>
        <value>/D:/develop/hadoop/data/snn</value>
    </property>
        <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/develop/hadoop/data/datanode</value>
    </property>

    (2)修改core-site.xml
    configuration节点下加入如下配置
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/develop/hadoop/data/tmp</value>
    </property>
    <property>
        <name>fs.trash.interval</name>
        <value>1440</value>
    </property>
    
    (3)修改yarn-site.xml
    configuration节点下加入如下配置
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
    
    (4)修改mapred-site.xml
    configuration节点下加入如下配置
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
7、启动HDFS
    格式化namenode（第一次启动前执行，只执行一次）
    hdfs namenode -format
    启动hdfs
    start-dfs.cmd
    启动yarn
    start-yarn.cmd
    查看是否启动成功    
    jps
    浏览器访问
    http://localhost:9870/
    http://localhost:8088/cluster