hadoop实战之分布式模式

本文地址：http://blog.csdn.net/kongxx/article/details/6896214

1. 首先为hadoop的集群准备几台机器，这里机器名如下：

fkongnix0 (master)
fkongnix1 (slave1)
fkongnix2 (slave2)

2. 修改每个机器的/etc/hosts文件，确保每个机器都可以通过机器m名互相访问；

3. 在上面每个机器上的相同位置分别安装hadoop，这里安装的都是hadoop-0.20.203.0rc1.tar.gz包，并且假定安装路径都是/data/fkong/hadoop-0.20.203.0；

4. 修改所有机器上的${HADOOP_HOME}/conf/hadoop-env.sh文件，将JAVA_HOME指定到正确的jdk路径上；

5. 修改master机器上的${HADOOP_HOME}/conf/slaves文件，修改后文件内容如下：

fkongnix1
fkongnix2

6. 修改和部署配置文件

6.1 编辑${HADOOP_HOME}/conf/core-site.xml文件，内容修改如下：

<configuration>
  <property>
    <name>fs.default.name</name>
    <value>hdfs://fkongnix0:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/data/fkong/hadoop-0.20.203.0/hadoop-${user.name}</value>
  </property>
</configuration>

6.2 编辑${HADOOP_HOME}/conf/hdfs-site.xml文件，内如修改如下：

<configuration>
  <property>
      <name>dfs.replication</name>
      <value>1</value>
  </property>
</configuration>

6.3 编辑${HADOOP_HOME}/conf/mapred-site.xml文件，内如修改如下：

<configuration>
  <property>
      <name>mapred.job.tracker</name>
      <value>fkongnix0:9001</value>
  </property>
</configuration>

6.4 将以上三个配置文件分别部署的每个slave节点上；

7. 格式化一个新的分布式文件系统:

$ bin/hadoop namenode -format

8. 执行hadoop

8.1 启动hadoop后台daemon

$ bin/start-all.sh

启动后可以通过以下网页方式查看NameNode和JobTracker状态，此时可以从NameNode状态网页上看到"Live Nodes"的数量变成了两个，此时表示已经部署成功

NameNode - http://localhost:50070/
JobTracker - http://localhost:50030/

8.2 运行测试

在hadoop默认提供了一些可以运行的测试工具在安装包目录下，下面就用这些测试程序来验证分布式模式是否成功

8.2.1 测试一

运行下面的命令将从本地复制一个文件到hdfs文件系统的/test/目录下

$ bin/hadoop fs -copyFromLocal /data/fkong/hadoop-0.20.203.0/hadoop-examples-0.20.203.0.jar /test/hadoop-examples-0.20.203.0.jar

运行下面的命令将显示hdfs文件系统上/test/目录下的文件

$ bin/hadoop fs -ls /test/

输出结果如下：

Found 1 items
-rw-r--r--   1 fkong supergroup     142469 2011-10-20 21:01 /test/hadoop-examples-0.20.203.0.jar

运行完上面的命令以后，可以通过http://localhost:50070/来查看hdfs上的文件，此时可以看到slave节点上已经有刚才命令上传的文件存在了。

8.2.2 测试二

运行下面的命令

$ bin/hadoop jar hadoop-examples-0.20.203.0.jar sleep 300

然后访问http://localhost:50030/，可以看到会有job在cluster里运行

8.2.3 测试三

首先准数据，下面两个命令是在hdfs上创建一个/test/input目录，然后从本地复制一下文件到此目录下

$ bin/hadoop fs -mkdir /test/input
$ bin/hadoop fs -copyFromLocal /data/fkong/hadoop-0.20.203.0/conf/*.xml /test/input

运行测试来查找一些字符串

$ bin/hadoop jar hadoop-examples-*.jar grep /test/input /test/output 'dfs[a-z.]+'

查看测试结果

$ bin/hadoop fs -ls /test/output/
$ bin/hadoop fs -cat /test/output/part-00000

8.3 停止hadoop后台daemon

$ bin/stop-all.sh