Ubuntu下用hadoop2.4搭建集群（伪分布式）

         要真正的学习hadoop，就必须要使用集群，但是对于普通开发者来说，没有大规模的集群用来测试，所以只能使用伪分布式了。下面介绍如何搭建一个伪分布式集群。

   为了节省时间和篇幅，前面一些步骤不再叙述。本文是在基于单机模式的前提下进行得搭建。若不会搭建单机模式，请看我的前一篇文章。Ubuntu下用hadoop2.4搭建集群（单机模式）

   第一步 配置hdfs-site.xml

    /usr/local/hadoop/etc/hadoop/hdfs-site.xml用来配置集群中每台主机都可用，指定主机上作为namenode和datanode的目录。

   通过命令打开文件

sudo  gedit  /usr/local/hadoop/etc/hadoop/hdfs-site.xml

 

  修改文件内容

   在该文件的<configuration></configuration>之间增加如下内容

 <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.namenode.name.dir</name>
        <value>file:/usr/local/hadoop/hdfs/name</value>
    </property>
    <property>
        <name>dfs.datanode.data.dir</name>
        <value>file:/usr/local/hadoop/hdfs/data</value>
 </property>

  保存、关闭编辑窗口

  然后在hadoop 目录下新建文件夹。这些都可以自己定义的，只不过需要注意一点的是。在hdfs-site.xml里面所写的路径名需要和你建的文件名一样。不要搞错这一点就没问题。

  通过命令新建文件夹。

  一个命令就可搞定，当然分开写也是可以的。（记得是在hadoop文件夹下面）

 第二步 配置core-site.xml

   这个文件包含了hadoop启动时候的配置信息  文件在这个目录下usr/local/hadoop/etc/hadoop/core-site.xml 

   首先通过命令打开配置文件

sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml

  在该文件的<configuration></configuration>之间增加如下内容。这里我要特别的说明一下，可以使用以下三个都实验一下，笔者优先推荐第一个，这一个一般不会有问题。有的时候可能和hadoop的版本以及系统本身一些问题，如果配置结束后不能启动，大家可以试试下面两个。

  第一种：   

<property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>

 第二种：

 <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

defaultFS是新版本得一种写法，如果使用前面的default.name一般没有问题，有时候会提示你过期，让你使用defaultFS。可以都试一下。

第三种：

 <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/usr/local/hadoop/tmp</value>
        <description>Abase for other temporary directories.</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://localhost:9000</value>
    </property>

这种配置的目的是有个说法是如没有配置 hadoop.tmp.dir 参数，此时 Hadoop 默认的使用的临时目录为 /tmp/hadoo-hadoop，而这个目录在每次重启后都会被干掉，必须重新执行 format 才行（未验证），所以伪分布式配置中最好还是设置一下。我也没有验证过。读者可以尝试一下。

第三步 配置yarn-site.xml

      /usr/local/hadoop/etc/hadoop/yarn-site.xml包含了MapReduce启动时的配置信息。之前的hadoop版本是没有这个的，启动都时候只用bin/start-all.sh就可以，现在使用了yarn框架后需要对它进行配置。我但是配置2.4都时候，使用了以前配置1.1时候的方法，结果搞了半天，白白浪费了时间。

    编辑器中打开此文件

sudo gedit    /usr/local/hadoop/etc/hadoop/yarn-site.xml

   

在该文件的<configuration></configuration>之间增加如下内容：

   <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>
    <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
   </property>

    保存、关闭编辑窗口

第四步 配置mapred-site.xml

      默认情况下，/usr/local/hadoop/etc/hadoop/文件夹下有mapred.xml.template文件，我们要复制该文件，并命名为mapred.xml，该文件用于指定MapReduce使用的框架。之前的有些版本直接使用里面就有mapred.xml文件，2.4版本，只是提供了一个模板，所以我们需要自己复制一个mapred.xml文件。

      复制并重命名（注意路径）

cp mapred-site.xml.template mapred-site.xml

    编辑器打开此新建文件

sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml

    在该文件的<configuration></configuration>之间增加如下内容：

 <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
  </property>

    保存、关闭编辑窗口  

 第五步 格式化分布式文件系统并启动hadoop

    使用如下命令（路径要在hadoop目录下，新手可能容易忽视这些问题。包括前面的都需要注意路径问题！）

  hdfs namenode -format    

   只需要执行一次即可，如果在hadoop已经使用后再次执行，会清除掉hdfs上的所有数据。

   经过上文所描述配置和操作后，下面就可以启动这个单节点的集群    

    执行启动命令：

sbin/start-dfs.sh    

    首次执行得话，如果有yes /no提示，输入yes，回车即可。   结果如下

 

    接下来，执行：

    sbin/start-yarn.sh 

   结果如下

 

    执行完这两个命令后，Hadoop会启动并运行    

    执行 jps命令，会看到Hadoop相关的进程，如下图。如果不完整的话，就是配置没有正确了。

 

   同时我们也可以在浏览器上查看。

  浏览器打开 http://localhost:50070/会看到hdfs管理页面

  浏览器打开http://localhost:8088，会看到hadoop进程管理页面。

 

 第六步 通过wordcount程序来检查运行结果。

    在介绍步骤之前，有必要了解，bin/hadoop是一个命令，现在也可以用bin/dfs 。

    首先创建一个文件夹，这不是普通的文件夹，创建完成后你是不能在目录下面看到的，需要用hadoop文件系统指令才可以看到。当然，使用Eclipse开发的话就可以看到文件系统里面的文件。下一篇博客我将会讲解如何使用Eclispe搭建hadoop环境。

   bin/hadoop fs -mkdir -p input

 

   把hadoop目录下的README.txt拷贝到dfs新建的input里，也可以拷贝其他的文件。对vim比较熟悉的也可自己写入。

   hadoop fs -copyFromLocal README.txt input

 

   -copyFromLocal是hadoop文件系统的一个操作指令。

    运行WordCount

 hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

 

可以看到运行过程。

 

可以看到运行结果。

 

  运行完毕后，查看单词统计结果

 hadoop fs -cat output/*

  

  结果是：

 

 第二次运行之前，请先删除output文件，否则会报错。

使用命令：

hadoop fs -rm -R ./output

 

 

 细心的读者应该发现了我得截图中，一直存在这样一个异常。

 提示WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform… using builtin-java classes where applicable

这是因为hadoop native library是32位系统编译的，在64位系统上会有这个提示，需要下载hadoop的源码重新编译，可参考http://stackoverflow.com/questions/19943766/hadoop-unable-to-load-native-hadoop-library-for-your-platform-error-on-centos

我编译了问题还是没有解决，可能和我系统本身有一些关系。

 具体可以参考这个博客，在文章的末尾作者讲得很清楚

http://dblab.xmu.edu.cn/blog/powerxing/install-hadoop-2-4-1-single-node/