用 java.net.URL 输出HDFS中指定文件的文本到终端

最新推荐文章于 2023-03-29 22:54:55 发布

beOkWithAnything

最新推荐文章于 2023-03-29 22:54:55 发布

阅读量623

点赞数

分类专栏： hadoop 文章标签： hdfs

本文链接：https://blog.csdn.net/swq463/article/details/118758491

版权

hadoop 专栏收录该内容

2 篇文章 0 订阅

订阅专栏

此篇博客展示了如何使用Java的URL和Apache Hadoop的FsUrlStreamHandlerFactory来从HDFS读取指定文件，并将内容输出到终端。通过实例代码，读者可以理解如何连接Hadoop集群并进行文件操作。

摘要由CSDN通过智能技术生成

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FsUrlStreamHandlerFactory;
import org.apache.hadoop.io.IOUtils;
import java.io.InputStream;
import java.net.URL;

/**
 * 用 java.net.URL 和 org.apache.hadoop.fs.FsURLStreamHandlerFactory 编程
 * 完成 输出HDFS中指定文件的文本到终端中
 */
public class UrlInputStreamHandlerFactory {

    public static void main(String[] args) throws Exception {
        URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
        URL url = new URL("hdfs://hadoop102:8020/in/hello.txt");
        InputStream inputStream = url.openStream();
        IOUtils.copyBytes(inputStream, System.out, new Configuration());
    }
}