hadoop2.4在windows7搭建单节点环境的简要介绍 -CSDN博客

本文链接：https://blog.csdn.net/surpass_li/article/details/84602399

想了解hadoop，所以就下了最新的文件，搭建相关的环境，以下为自己在win7上搭建hadoop的相关步骤。要在64位windows7中进行，否则需要自己编译hadoop-commin中的动态库和可执行文件。

1、下载hadoop-2.4.0.tar.gz，用winRAR解压。（路径不能有空格）解压到d:\hadoop目录下

2、安装java，此处就不做讲解了。jdk版本在1.7+

3、配置hadoop的环境变量HADOOP_HOME="HADOOP的安装目录" 如d:\hadoop\hadoop.2.4.0

4、在环境变量的PATH中加入HADOOP的安装目录/bin 如%HADOOP_HOME%/bin

5、配置JAVA_HOME变量为当前java的安装路径。

6、下载hadoop-commin-2.2.zip（由于没找到2.4对应的编译版本。采用2.2版本的也可以用。）,因为在windows下运行，压缩包里面缺少 winutils.exe, hadoop.dll等文件，下载完成后，将要报下面的bin目录下的所有文件全部拷贝到hadoop目录下的bin文件夹下。

7、修改配置文件，以下四个文件全部在hadoop目录下的etc/hadoop目录下

修改core-site.xml，如下：

 
<?xml version="1.0" encoding="UTF-8"?> 
 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
 
    03<!--
 
  Licensed under the Apache License, Version 2.0 (the "License"); 
 
  you may not use this file except in compliance with the License. 
 
  You may obtain a copy of the License at 
 
  
 
    http://www.apache.org/licenses/LICENSE-2.0 
 
  
 
  Unless required by applicable law or agreed to in writing, software 
 
  distributed under the License is distributed on an "AS IS" BASIS, 
 
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. 
 
  See the License for the specific language governing permissions and 
 
  limitations under the License. See accompanying LICENSE file. 
 
    15-->
 
  
 
    17<!-- Put site-specific property overrides in this file. -->
 
  
 
<configuration> 
 
    <property> 
 
        <name>fs.defaultFS</name> 
 
        <value>hdfs://localhost:9000</value> 
 
    </property> 
 
</configuration>

修改hdfs-site.xml如下：

 
<?xml version="1.0" encoding="UTF-8"?> 
 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
 
    03<!--
 
  Licensed under the Apache License, Version 2.0 (the "License"); 
 
  you may not use this file except in compliance with the License. 
 
  You may obtain a copy of the License at 
 
  
 
    http://www.apache.org/licenses/LICENSE-2.0 
 
  
 
  Unless required by applicable law or agreed to in writing, software 
 
  distributed under the License is distributed on an "AS IS" BASIS, 
 
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. 
 
  See the License for the specific language governing permissions and 
 
  limitations under the License. See accompanying LICENSE file. 
 
    15-->
 
  
 
    17<!-- Put site-specific property overrides in this file. -->
 
  
 
<configuration> 
 
    <property> 
 
        <name>dfs.replication</name> 
 
        <value>1</value> 
 
    </property> 
 
    <property> 
 
        <name>dfs.namenode.name.dir</name> 
 
        <value>file:/hadoop/data/dfs/namenode</value> 
 
    </property> 
 
    <property> 
 
        <name>dfs.datanode.data.dir</name> 
 
        <value>file:/hadoop/data/dfs/datanode</value> 
 
    </property> 
 
</configuration>

修改yarn-site.xml如下：

 
<?xml version="1.0"?> 
 
    02<!--
 
  Licensed under the Apache License, Version 2.0 (the "License"); 
 
  you may not use this file except in compliance with the License. 
 
  You may obtain a copy of the License at 
 
  
 
    http://www.apache.org/licenses/LICENSE-2.0 
 
  
 
  Unless required by applicable law or agreed to in writing, software 
 
  distributed under the License is distributed on an "AS IS" BASIS, 
 
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. 
 
  See the License for the specific language governing permissions and 
 
  limitations under the License. See accompanying LICENSE file. 
 
    14-->
 
<configuration> 
 
    <property> 
 
       <name>yarn.nodemanager.aux-services</name> 
 
       <value>mapreduce_shuffle</value> 
 
    </property> 
 
    <property> 
 
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 
 
       <value>org.apache.hadoop.mapred.ShuffleHandler</value> 
 
    </property> 
 
</configuration>

修改mapred-site.xml如下：

 
<?xml version="1.0"?> 
 
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
 
    03<!--
 
  Licensed under the Apache License, Version 2.0 (the "License"); 
 
  you may not use this file except in compliance with the License. 
 
  You may obtain a copy of the License at 
 
  
 
    http://www.apache.org/licenses/LICENSE-2.0 
 
  
 
  Unless required by applicable law or agreed to in writing, software 
 
  distributed under the License is distributed on an "AS IS" BASIS, 
 
  WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied. 
 
  See the License for the specific language governing permissions and 
 
  limitations under the License. See accompanying LICENSE file. 
 
    15-->
 
  
 
    17<!-- Put site-specific property overrides in this file. -->
 
  
 
<configuration> 
 
    <property> 
 
       <name>mapreduce.framework.name</name> 
 
       <value>yarn</value> 
 
    </property> 
 
</configuration>