Windows 10 安装和配置Hadoop

Windows 10 安装和配置Hadoop

下载

• 下载最新的Hadoop包。这里假设Java已经安装成功了，各种环境变量也都设置好了。

• 把文件解压。最好找一个长度短点的路径，不然有时路径里的空格也会引起问题。解压好了就算是安装了。

• 我们这里放在F盘下如图
  

配置环境变量

• 设置环境变量。新手一定不能因为好多的路径就跳过去这一步，这个是必不可少的。 首先设置名为HADOOP_HOME的System variables （新建点击New）。把我的路径名改成你的，记住一定要是到bin的路径

• 下来设置Path。还是在System variables里 ，双击Path点进去就是下面的样子
  
  红色的即为我hadoop所在的路径，具体的请换成你们自己的路径

配置hadoop

1. 第一个是在Hadoop的根目录下创建文件夹data，然后在其下创建两个子文件夹datanode和namenode，如图所示
   

2. 确认…/etc/hadoop/core-site.xml文件中有如下代码

   <configuration>
      <property>
          <name>fs.defaultFS</name>
          <value>hdfs://localhost:9000</value>
      </property>
   </configuration>
   

3. 确认…/etc/hadoop/mapred-site.xml文件中有如下代码：

   <configuration>
      <property>
          <name>mapreduce.framework.name</name>
          <value>yarn</value>
      </property>
   </configuration>
   

4. 确认…/etc/hadoop/hdfs-site.xml文件中有如下代码（记得用你自己的namenode和datanode的地址代替下面的地址。）

   <configuration>
       <property>
           <name>dfs.replication</name>
           <value>1</value>
       </property>
       <property>
           <name>dfs.namenode.name.dir</name>
           <value>F:\hadoop\hadoop-3.1.2\data\namenode</value>
       </property>
       <property>
           <name>dfs.datanode.data.dir</name>
           <value>F:\hadoop\hadoop-3.1.2\data\datanode</value>
       </property>
   </configuration>
   

5. 确认…/etc/hadoop/yarn-site.xml文件中有如下代码

   <configuration>
       <property>
          <name>yarn.nodemanager.aux-services</name>
          <value>mapreduce_shuffle</value>
       </property>
       <property>
          <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
          <value>org.apache.hadoop.mapred.ShuffleHandler</value>
       </property>
       <property>  
           <name>yarn.resourcemanager.address</name>  
           <value>hadoopMaster:8032</value>  
       </property> 
       <property>
           <name>yarn.resourcemanager.scheduler.address</name>  
           <value> hadoopMaster:8030</value>  
       </property>
       <property>
           <name>yarn.resourcemanager.resource-tracker.address</name>  
           <value> hadoopMaster:8031</value>  
       </property>
   </configuration>
   

6. 第六个是确认…/etc/hadoop/hadoop-env.cmd文件中有如下修改

   [外链图片转存失败(img-ihfGgFms-1565253858079)(C:\Users\Administrator\Desktop\1565251757(1)].png)

马上就大功告成啦！现在我们配置一下文件格式。通过cmd进入文件夹F:\hadoop\hadoop-3.1.2\bin。然后运行

hdfs namenode -format

添加winutils

现在还运行不起来,需要添加winutils包到F:\hadoop\hadoop-3.1.2\bin内，我们先找到对应版本的winutils 我的版本是3.12所以我找了一个3.10版本的,链接,下载完成后，将bin/目录下的东西放到对应的目录，如图

启动

进入sbin文件输入：start-all.cmd。之后会有是四个窗口跳出来，分别是：

• Hadoop Namenode
• Hadoop datanode
• YARN Resourc Manager
• YARN Node Manager

如果能能放可以访问http://localhost：9870 出现如下图，则说明hadoop已经启动成功