HDFS入门（三）

最新推荐文章于 2022-03-27 16:39:24 发布

乘风破浪的鱼摆摆.

最新推荐文章于 2022-03-27 16:39:24 发布

阅读量635

点赞数

分类专栏：大数据处理技术学习笔记文章标签： hdfs hadoop 大数据

本文链接：https://blog.csdn.net/YKQCC/article/details/121153237

版权

本文主要介绍了如何使用JAVA API接口访问HDFS，包括设置URLStreamHandlerFactory支持hdfs协议，通过FileSystem.get()获取具体实现，用Configuration配置HDFS地址，以及使用Path表示HDFS路径。此外，还提及了相关的IOUtils类。

摘要由CSDN通过智能技术生成

五、HDFS接口

（一）HDFS命令行接口

HDFS命令行接口作为了解，在这里不再赘述

（二）JAVA API接口

使用URL访问hdfs

1）怎么访问？
java.net.URL可以访问文件系统，但其默认支持http协议，不支持hdfs协议

2）如何支持？
URL.setURLStreamHandlerFactory()方法中，添加hdfs协议对象FsUrlStreamHandlerFactory即可
即java.net.URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory())

3）访问哪里？
hdfs文件系统的根目录是：hdfs://192.168.170.133:9000

public static void main(String[] args) throws Exception {	
	URL.setURLStreamHandlerFactory(new FsUrlStreamHandlerFactory());
	String url = "hdfs://192.168.170.133:9000/input/2.txt";		
	InputStream in = new URL(url).openStream();		
	IOUtils.copyBytes(in, System.out, 4096);
}