Hadoop权威指南学习——从Hadoop URL读取数据

一、准备工作

        在hadoop-env.sh中配置好 HADOOP_CLASSPATH 变量，值为编译后的.class文件所放置的地方。

export HADOOP_CLASSPATH=/usr/software/hadoop/hadoop-2.2.0/classpath

二、编写程序

import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;

import java.io.IOException;
import java.io.InputStream;
import java.net.URL;

public class URLCat {

    static {
        URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
    }

    //读取文件输出
    public static void main(String[] args) {
        InputStream in = null;
        try {

            in = new URL(args[0]).openStream();
            IOUtils.copyBytes(in, System.out, 4096, false);

        }catch (IOException e){
            e.printStackTrace();
        }finally {
            IOUtils.closeStream(in);
        }
    }
}

三、编译执行

[root@localhost classpath]# javac URLCat.java
[root@localhost classpath]# hadoop URLCat hdfs://localhost/part-r-00000
1901	317
1949	111
1950	22

四、程序介绍

 

        要从 Hadoop 文件系统中读取文件，最简单的方法是使用 java.net.URL 对象打开数据流，从中读取数据。

        让 Java 程序能够识别 Hadoop 的 hdfs URL 方案还需要一些额外的工作。这里采用的方法是 FsUrlStreamHandlerFactory 实例，调用 java.net.URL 对象的 setURLStreamHandlerFactory方法将其设置为 URL 对象所使用的URLStreamHandlerFactory

        每个虚拟机只能调用一次该方法，因此通常在静态方法或代码块中调用。这个限制意味着如果程序的其他第三方组件也声明过一个 FsUrlStreamHandlerFactory 实例，该程序将无法使用。

 

 

结束