利用 HDFS 的 URL 方式读取 HDFS 内文件内容

最新推荐文章于 2024-07-25 16:36:25 发布

不会编程的码农

最新推荐文章于 2024-07-25 16:36:25 发布

阅读量8k

点赞数

分类专栏： hadoop hdfs 文章标签： hadoop hdfs

本文链接：https://blog.csdn.net/weijianpeng2013_2015/article/details/71331890

版权

hadoop 同时被 2 个专栏收录

16 篇文章 0 订阅

订阅专栏

hdfs

2 篇文章 0 订阅

订阅专栏

准备工作：
与上一篇相同
代码：

package com.peng.hdfs;

import java.io.IOException;
import java.io.InputStream;
import java.net.MalformedURLException;
import java.net.URL;

import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;
//利用 HDFS 的 URL 方式读取 HDFS 内文件内容
public class DataReadByURL {
    static{
        URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
    }
    public static void main(String[] args) {
        InputStream in=null;
        try {
            in=new URL("hdfs://192.168.28.136/output/weibo1/part-r-00000").openStream();
            IOUtils.copyBytes(in, System.out, 2048,false);
        } catch (MalformedURLException e) {
            e.printStackTrace();
        } catch (IOException e) {
            e.printStackTrace();
        }finally{
            IOUtils.closeStream(in);
        }

    }

}