java读取hadoop数据_从Hadoop URL中读取数据_hadoop 数据读取_hadoop读取文件

3.5  Java接口

在本小节,我们要深入探索Hadoop的Filesystem类:与Hadoop的文件系统交互的API。 虽然我们主要关注的是HDFS的实现DistributedFileSystem,但总体来说,还是应该努力编写不同于FileSsytem抽象类的代 码,以保持其在不同文件系统中的可移植性。这是考验编程能力的最佳手段,因为我们很快就可以使用存储在本地文件系统中的数据来运行测试了。

3.5.1  从Hadoop URL中读取数据

要从Hadoop文件系统中读取文件,一个最简单的方法是使用java.net.URL对象来打开一个数据流,从而从中读取数据。一般的格式如下:

InputStream in = null;

try {

in = new URL(“hdfs://host/path”).openStream();

// process in

} finally {

IOUtils.closeStream(in);

}

这里还需要一点工作来让Java识别Hadoop文件系统的URL 方案,就是通过一个FsUrlStreamHandlerFactory实例来调用在URL中的setURLStreamHandler-Factory 方法。这种方法在一个Java虚拟机中只能被调用一次,因此一般都在一个静态块中执行。这个限制意味着如果程序的其他部件(可能是不在你控制中的第三方部 件)设置一个URLStreamHandlerFactory,我们便无法再从Hadoop中读取数据。下一节将讨论另一种方法。

例3-1展示了以标准输出显示Hadoop文件系统的文件的程序,它类似于Unix的cat命令。

例3-1:用URLStream

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值