2020-08-18

下载hadoop

• 下载步骤

  https://archive.apache.org/dist/hadoop/common/hadoop-3.0.0/

• 解压

  放在D:/hadoop下

• 关于winutils的下载
  还需要下载winutils.exe,需要对应的版本.地址https://github.com/steveloughran/winutils,下载之后直接解压,将bin目录里的内容直接覆盖到hadoop的bin

配置hadoop

• 首先配置环境变量
  这个不用多说,在path中添加路径${hadoopHome}\bin,例如:”D:\hadoop\bin”,不要忘了加”;”与前面的隔开

• 配置hadoop文件
  所有的配置文件都在D:\hadoop\etc\hadoop的目录下,使用Notepad++/记事本/..打开.

  • 文件1:D:\hadoop\etc\hadoop\hadoop-env.cmd jdk路径不要有空格

    set JAVA_HOME=D:\RequiredTools\Java\jdk8u45 

    • 1

  • 文件2:D:\hadoop\etc\hadoop\core-site.xml

      <configuration>
        <property>  
    　　　　<name>fs.default.name</name>  
    　　　　<value>hdfs://localhost:9000</value>  
    　　 </property>     
      </configuration>

  • 文件3:D:\hadoop\etc\hadoop\hdfs-site.xml

    <configuration>
    <property>  
    　　<name>dfs.replication</name>  
    　　<value>1</value>  
    </property>
    <property>
            <name>dfs.namenode.name.dir</name>
            <value>file:/hadoop/data/dfs/namenode</value>
    </property>
    <property>
            <name>dfs.datanode.data.dir</name>
            <value>file:/hadoop/data/dfs/datanode</value>
    </property> 
    </configuration>

  • 文件4:D:\hadoop\etc\hadoop\mapred-site.xml mapred-site.xml

    <configuration>
        <property>
           <name>mapreduce.framework.name</name>
           <value>yarn</value>
        </property>
    </configuration>

  • 文件5:D:\hadoop\etc\hadoop\yarn-site.xml

    <configuration>
        <property>
           <name>yarn.nodemanager.aux-services</name>
           <value>mapreduce_shuffle</value>
        </property>
        <property>
           <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
           <value>org.apache.hadoop.mapred.ShuffleHandler</value>
        </property>
    </configuration>

---

启动hadoop

进入到hadoop–>bin目录下,shift+右键 打开命令行..win8的话建议使用管理员运行cmd

hadoop namenode -format //格式化hdfs
cd xx/hadoop/sbin //进入到sbin目录下
start-dfs.cmd   //先启动dfs  
start-yarn.cmd  //再启动yarn  
//或者
//start-all.cmd //相当于以上的两条命令

• 1：格式化hdfs是，如果遇到悬着Y/N,输入大写的Y，以防不测问题

启动结果
在地址栏输入http://localhost:8088

在地址栏输入http://localhost:9870,   3.0版本的端口有变更