Hadoop系列——Windows系统搭建hadoop-2.7.6

• 准备工作：

1. 下载JDK，并配置JAVA环境变量；具体步骤不知道的去问度娘
2. 下载Hadoop 戳这里，看上哪个版本就下载那个版本，我这边用的是hadoop-2.7.6
3. 下载winutils 戳这里，这个是别人编译好的hadoop的windows版本二进制文件，不需要我们自己进行编译。

• 注意：

1. Hadoop版本和winutils版本选择不要相差太多，不然各种坑等着你去填，最后还得乖乖用版本相近的

• 开始搭建吧

1. 我本地Hadoop地址：E:\hadoop\hadoop-2.7.6
2. 修改Hadoop配置文件
   1. core-site.xml（配置默认hdfs的访问端口）

      <configuration>
          <property>
              <name>fs.defaultFS</name>
              <value>hdfs://localhost:9000</value>
          </property>
      </configuration>

       

   2. hdfs-site.xml（设置复制数为1，即不进行复制。namenode文件路径以及datanode数据路径。）

      <configuration>
          <property>
              <name>dfs.replication</name>
              <value>1</value>
          </property>
          <property>
              <name>dfs.namenode.name.dir</name>
              <value>file:/hadoop/data/dfs/namenode</value>
          </property>
          <property>
              <name>dfs.datanode.data.dir</name>
              <value>file:/hadoop/data/dfs/datanode</value>
          </property>
      </configuration>

       

   3. mapred-site.xml

      <configuration>
          <property>
              <name>mapreduce.framework.name</name>
              <value>yarn</value>
          </property>
      </configuration>

       

   4. yarn-site.xml

      <configuration>
          <property>
              <name>yarn.nodemanager.aux-services</name>
              <value>mapreduce_shuffle</value>
          </property>
          <property>
              <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
              <value>org.apache.hadoop.mapred.ShuffleHandler</value>
          </property>
      </configuration>

       

   5. hadoop-env.cmd

      设置JAVA_HOME的值(如果这里使用了带空格的Program Files路径将会报错！)
      Program Files可以替换成PROGRA~1就不报错了
      
      set JAVA_HOME=C:\Java\jdk1.8.0_73
      

       

3. 配置Hadoop环境变量

   将E:\hadoop\hadoop-2.7.6\bin加入系统环境变量，和设置jdk环境变量一样，不赘述了

    

4. 替换文件

   解压我们之前下载的 winutils-master 文件，找到符合自己的版本，我这边用的hadoop-2.7.1
   将bin文件夹替换Hadoop里的bin文件夹

    

5. 运行Hadoop
   1. 运行cmd窗口，进入目录E:\hadoop\hadoop-2.7.6\bin下执行hdfs namenode -format
   2. 再进入目录E:\hadoop\hadoop-2.7.6\sbin下执行start-all.cmd会打开4个cmd窗口

6. hadoop自带的web控制台GUI

   1. 资源管理GUI:http://localhost:8088/

   2. 节点管理GUI:http://localhost:50070/

   3. 上传文件查询：http://localhost:50070/explorer.html#/

7. 小试牛刀下

   1. 打开cmd进入目录E:\hadoop\hadoop-2.7.6\bin

      创建文件夹hahashujia
      hadoop fs -mkdir hdfs://localhost:9000/hahashujia
      
      上传文件至文件夹hahashujia
      hadoop fs -put E:\hadoop\file\ceshi.txt hdfs://localhost:9000/hahashujia
      
      查看hahashujia目录下的文件
      hadoop fs -ls hdfs://localhost:9000/hahashujia

      

8. 问题点：

   1. 系统找不到指定的批标签 make_command_arguments。
      解决方法：yarn.cmd里 的 ^都去掉

   2. 版本问题：还是那句话，尽量统一版本，不然有的是坑等你填。