Windows下安装Hadoop(不借助cygwin)超级详细版

 

第一步:前期需要准备的材料:

①  下载hadoop-2.7.6安装包

下载地址: http://hadoop.apache.org/releases.html

②  下载hadoop在windows环境下支持包hadoopwindows-master.

③  下载hadoop的hadoop.dll和winutils.exe

https://download.csdn.net/download/u012761191/10589266

④  下载JDK(本人用的1.7)

 

第二步:安装jdk并配置jdk环境变量(比较简单,可参考百度文库)

 

第三步:安装包及环境变量配置

         ①解压hadoop-2.7.6安装包到本地路径

         ②将hadoop.dll和winutils.exe两个文件放入到/Hadoop-2.7.6/bin目录下

        

 

③配置hadoop环境变量:

 

⑤  添加path属性,将;%HADOOP_HOME%\bin;添加到path环境变量中。

        

 

⑥  验证hadoop环境,在windows控制台输入: hadoop version 结果如下图:

 

第四步:修改hadoop配置文件

           ①找到hadoop-2.7.6\hadoop-2.7.6\etc\hadoop\core-site.xml并做如下的内容修改:

<configuration>
         <property>
       <name>fs.defaultFS</name>
       <value>hdfs://localhost:9000</value>
   </property>
         <property>
       <name>hadoop.tmp.dir</name>
       <value>/D:\hadoop-2.7.6\data\tmpdir</value>
   </property>
         <property>
       <name>dfs.name.dir</name>
       <value>/D:\hadoop-2.7.6\data\dfsdir
                   </value>
   </property>
</configuration>

之后建立相应的目录(要和上图中的value一致),即D:\hadoop-2.7.6\data\tmpdir和D:\hadoop-2.7.6\data\dfsdir如下图所示:

②在目录D:\hadoop-2.7.6\etc\hadoop下找mapred-site.xml(如果不存在,就将mapred-site.xml.template修改为mapred-site.xml)并作如下修改:

<configuration>
         <property>
      <name>mapreduce.framework.name</name>
      <value>yarn</value>
   </property>
         <property>
      <name>mapred.job.tracker</name>
      <value>hdfs://localhost:9001</value>
   </property>
</configuration>

 

③在目录D:\hadoop-2.7.6\etc\hadoop下找到yarn-site.xml并作如下修改:

 

<property>
      <name>yarn.nodemanager.aux-services</name>
      <value>mapreduce_shuffle</value>
   </property>
   <property>
      <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
      <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>

 

④在D:\hadoop-2.7.6\etc\hadoop目录下找到hadoop-env.cmd做如下修改,(这里的D:\PROGRA~2\Java\jdk1.7.0_71其实和D:\Program Files\Java\jdk1.7.0_71 是等价的,但是路径中不能出现空格,不然后面可能出现问题)

 

⑤在D:\hadoop-2.7.6\etc\hadoop路径下找到hdfs-site.xml文件,并作如下修改:

<configuration>
 <property>
       <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
       <name>dfs.namenode.name.dir</name>
       <value>/D:\hadoop-2.7.6\data\namenode</value>
    </property>
         <property>
       <name>dfs.datanode.data.dir</name>
        <value>/D:\hadoop-2.7.6\data\datanode</value>
    </property>
</configuration>

 

之后再建立相应的路径(和value一致),如图:

 

第五步:

①将hadooponwindows-master放到hadoop-2.7.6目录下,

②并修改/hadooponwindows-master/etc/hadoop/hadoop-env.cmd文件,具体和之前hadoop-env.cmd文件一样修改.

③将hadoop-2.7.6目录下的bin文件夹复制并覆盖掉/hadooponwindows-master/bin文件夹.

第六步:测试是否搭建成功

①  在windows控制台输入: hadoop namenode –format  [注意尽量不要重复操作,因为重复操作会影响后续hive的测试,当然重复也没关系,后续需要多余操作来解决问题]

②  在windows控制台进入到D:/hadoop-2.7.6/sbin目录下执行: start-all 指令启动hadoop环境.[结果如图,会弹出其他四个控制台输入框,应该就成功了]