Hadoop命令行接口运行自己编写的类

转自：http://blog.chinaunix.net/uid-11767650-id-1673086.html
因为我也遇到了这个问题，所以就直接转载了。。。

最近学习Hadoop，可以使用命令行来简单的管理Hadoop，例如使用：

查看hadoop的HDFS根节点情况

hadoop fs -ls /

创建文件夹LGG

hadoop fs mkdir /user/root/LGG
通过命令行接口来进行操作。
当然，hadoop命令行接口同样支持自己编写的类的参数，例如在Hadoop权威指南中的一个例子如下：

import java.io.InputStream;
import java.net.URL;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;

/**
 * 
 * @author LGG
 *
 */
public class URLCat {
    static{
        URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
    }
    public static void main(String[] args) throws Exception{
        InputStream in = null;
        try{
            in = new URL(args[0]).openStream();
            IOUtils.copyBytes(in, System.out, 4096,false);
        }finally{
            IOUtils.closeStream(in);
        }
    }
}

将URLCat.java编译后生成class文件，然后可以将此类作为一个hadoop命令行接口的参数进行使用，如下：

hadoop URLCat hdfs://localhost/user/tom/readme.txt

作用是将HDFS文件里面的readme.txt输出到System.out中，就是标准输出。但是在执行的时候会报以下错误：

Exception in thread "main" java.lang.NoClassDefFoundError: URLCat
Caused by: java.lang.ClassNotFoundException: URLCat
    at java.net.URLClassLoader$1.run(URLClassLoader.java:217)
    at java.security.AccessController.doPrivileged(Native Method)
    at java.net.URLClassLoader.findClass(URLClassLoader.java:205)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:321)
    at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:294)
    at java.lang.ClassLoader.loadClass(ClassLoader.java:266)
Could not find the main class: URLCat. Program will exit.

这个异常是典型的类装入问题的异常，异常表明在类装入的过程中，没有找到URLCat这个类的定义。于是LGG查阅了相关资料，发现hadoop脚本执行的时候，classpath的搜索路径默认会在当前系统变量$HADOOP_CLASSPATH中去寻找，于是echo查看之，发现竟然显示为空！
问题找到了，因为系统指定了classpath，所以回去这个环境变量中去寻找，但是在当前路径下找不到类URLCat（废话，都是空的了）。使用export命令就可以解决了：
#.表示当前目录，即类所在目录，只有这样才能让hadoop找到这个类\

export HADOOP_CLASSPATH=.

然后再执行：

hadoop URLCat hdfs://master:9000/user/grid/test/test1.txt

就搞定了~~