第一个hadoop练习

最近对海量数据处理的兴趣，正在学习Hadoop，呵呵，这是笔者的第一个hadoop程序，通过这个程序，终于把hadoop程序的编写执行流程搞清楚了！

首先上代码

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;


public class PutMerge
{
    /**
     * @param args
     */
    public static void main(String[] args) throws IOException
    {
        // TODO Auto-generated method stub
        Configuration conf = new Configuration();
        FileSystem hdfs = FileSystem.get(conf);
        FileSystem local = FileSystem.getLocal(conf);
        
        Path inputDir = new Path(args[0]);
        Path hdfsFile = new Path(args[1]);
        
        try
        {
            FileStatus[] inputFiles = local.listStatus(inputDir);
            FSDataOutputStream out = hdfs.create(hdfsFile);
            
            for(int i = 0; i < inputFiles.length; i++ )
            {
                System.out.println(inputFiles[i].getPath().getName());
                FSDataInputStream in = local.open(inputFiles[i].getPath());
                byte buffer[] = new byte[1024];
                int bytesRead = 0;
                while( (bytesRead = in.read(buffer)) > 0)
                {
                    out.write(buffer, 0, bytesRead);
                }
                in.close();
            }
            out.close();
        }
        catch (IOException e)
        {
            e.printStackTrace();
        }
    }

}

运行程序：

需要在eclipse中设置命令行参数，与java同志失去联系很多年了，eclipse开发环境也很生疏，所以摸索了半天才知道怎么设置命令行参数，呵呵，java小菜。

Run->Debug Configuration 选择Arguments选项卡，在第一个文本框中设置命令行参数如下：

/home/dm/workspace/PutMerge/input output/sum.txt

其中，/home/dm/workspace/PutMerge/input是本地文件系统的绝对路径，指定输入文件在本地文件系统的位置；output/sum.txt是hdfs文件系统的相对路径路径（在hdfs文件系统中他的全路径是/user/dm/output）。

但是，由于笔者的机器配置了hadoop的伪分布模式，并把hadoop的bin包符号链接在eclipse根目录的jre目录下，所以hadoop在workspace/PutMerge下模拟了hdfs文件系统，eclipse按照java application运行程序，输出结果会保存在当前目录下。这里有一点就是在不删除输出文件的情况下重复运行hadoop程序，不会出现问题，即便jar包在hadoop上跑也是如此，不知是不是因为没有Map-Reduce模式，这个解释不确定，请大牛指教？？？

好了，确定程序没有问题了，一切正常，下一步小试牛刀，把程序打成jar包在hadoop上运行

这里只打包程序文件和打包整个项目都是一样的。

这里笔者只打包了程序文件：右击PutMerge.java文件，选择Export -> java -> JAR file，然后一路next，直到finish，这样就完成了打包工作；

当然这是用的Eclipse，如果用命令行编译java程序，可用如下步骤，稍微有点儿繁琐：

cd /usr/local/hadoop              //hadoop的解压根目录
sudo mkdir putmerge           //在此创建一个目录用来存放程序和生成的jar文件
sudo mkdir putmerge/src    
sudo mkdir putmerge/classes
sudo cp ~/workspace/PutMerge/src/PutMerge.java putmerge/src    //源码拷进
cd putmerge/src
cd ../..
sudo javac -classpath hadoop-core-1.0.1.jar:lib/commons-cli-1.2.jar -d putmerge/classes putmerge/src/PutMerge.java   //编译
sudo jar -cvf putmerge/PutMerge.jar -C putmerge/classes/ .

上面是两种生成jar文件的方法，下面应该运行程序了

其实jar包是不需要复制到hdfs上的，但是这两天笔者一直认为需要，惭愧啊！！！  hadoop的jar命令是在本地找jar包的。

笔者对“文件复制到hdfs”这一过程是这样理解的，文件复制到hdfs的过程其实就是文件分散到各个DataNode的过程，也就是分割文件的过程，毕竟hdfs是一个分布式文件系统，而本机系统不是分布式的。

dm@cloud:~$ ls
eclipse           PutMerge.jar  workspace    test

        
dm@cloud:~$ ls test/                    #显示测试文件
1.txt  2.txt  3.txt  4.txt

dm@cloud:~$ start-all.sh            #启动hadoop
starting namenode, logging to /usr/local/hadoop/libexec/../logs/hadoop-dm-namenode-cloud.out
localhost: starting datanode, logging to /usr/local/hadoop/libexec/../logs/hadoop-dm-datanode-cloud.out
localhost: starting secondarynamenode, logging to /usr/local/hadoop/libexec/../logs/hadoop-dm-secondarynamenode-cloud.out
starting jobtracker, logging to /usr/local/hadoop/libexec/../logs/hadoop-dm-jobtracker-cloud.out
localhost: starting tasktracker, logging to /usr/local/hadoop/libexec/../logs/hadoop-dm-tasktracker-cloud.out

dm@cloud:~$ hadoop fs -lsr   #查看当前目录

dm@cloud:~$ hadoop fs -mkdir /user/dm/putmerge    #创建存放数据文件

dm@cloud:~$ hadoop fs -lsr     #文件创建成功
drwxr-xr-x   - dm supergroup          0 2012-05-16 00:03 /user/dm/putmerge

dm@cloud:~$ hadoop jar PutMerge.jar PutMerge test/ putmerge/output/sum.txt      #执行程序
3.txt
1.txt
2.txt
4.txt
dm@cloud:~$ hadoop fs -lsr        #程序执行后，递归查看当前目录中的文件
drwxr-xr-x   - dm supergroup          0 2012-05-16 00:05 /user/dm/putmerge
drwxr-xr-x   - dm supergroup          0 2012-05-16 00:05 /user/dm/putmerge/output
-rw-r--r--   1 dm supergroup         47 2012-05-16 00:05 /user/dm/putmerge/output/sum.txt

dm@cloud:~$ hadoop fs -cat putmerge/output/sum.txt   #检查合成文件sum.txt的内容
Daniel
my name
is Sun
in Xiamen University.

dm@cloud:~$ stop-all.sh     #关闭hadoop程序
stopping jobtracker
localhost: stopping tasktracker
stopping namenode
localhost: stopping datanode
localhost: stopping secondarynamenode

dm@cloud:~$ 

笔者是hadoop的初学者，处于菜鸟阶段，以上内容是结合这两天学习所写，不乏存在错误或不足，如果大牛看到请指正！！！

声明上面代码是引自《Hadoop实战》（Chuck Lam 著， 韩冀中译人民邮电出版社）：37页