Windows下安装Hadoop测试环境

Windows下安装Hadoop测试环境

hadoop	2.7.7	https://mirrors.tuna.tsinghua.edu.cn/apache/hadoop/common/
hadoop for windows	2.7.1	https://github.com/steve-monster/winUtils

第一步：

​ 把hadoop-2.7.7.tar.gz解压后
​ 使用hadooponwindows-master的bin和etc替换hadoop2.7.7的bin和etc

第二步：

​ 配置环境变量

​ 这里必须强调一下，不论Java环境变量，还是hadoop的环境变量，其路径中不要出现空格，如Programe Files，因其中有空格，所以不要放到这个目录下面，否则后面会找不到文件而出错。

​ Path中，加入%HADOOP_HOME%\bin ，%HADOOP_HOME%\sbin

第三步：

​ Hadoop相关配置

配置hadoop\hadoop-env.cmd

@rem The java implementation to use.  Required.
@rem set JAVA_HOME=%JAVA_HOME%
set JAVA_HOME=%JAVA_HOME%  	//直接让系统自己找 
@rem The jsvc implementation to use. Jsvc is required to run secure datanodes.
@rem set JSVC_HOME=%JSVC_HOME%

配置 hadoop-2.7.7/etc/hadoop/core-site.xml

<configuration>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

配置 hadoop-2.7.7/etc/hadoop/hdfs-site.xml

<configuration>
 <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>/D:/profession/bigdata/hadoop-2.7.7/data/dataNode</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>/D:/profession/bigdata/hadoop-2.7.7/data/dataNode</value>
    </property>
</configuration>

并在上述的路径下，创建相应的文件夹。

将 hadoop-2.7.7/etc/hadoop/mapred-site.xml.template 重命名为mapred-site.xml

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
</configuration>

配置hadoop-2.7.7/etc/hadoop/yarn-site.xml

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

还需要把 hadoop-2.7.7 \ bin \ hadoop.dll 拷贝到 C:\Windows\System32

不然在window平台使用MapReduce测试时报错

打开cmd，格式化NameNode

hdfs namenode -format

转到Hadoop-2.7.3\sbin文件下

启动集群

hadoop-2.7.7\sbin\start-all

出现下面四个窗口表示启动hadoop集群成功