hadoop学习笔记--5.HDFS的java api接口访问

最新推荐文章于 2024-07-25 16:52:43 发布

liuzebin9

最新推荐文章于 2024-07-25 16:52:43 发布

阅读量6.6k

点赞数 1

分类专栏： Hadoop

本文链接：https://blog.csdn.net/liuzebin9/article/details/70171338

版权

这篇博客详细介绍了如何使用Hadoop的Java API进行HDFS操作，包括创建和删除文件目录、上传本地文件、文件重命名、读取文件内容等关键功能，适合Hadoop初学者和开发者参考。

摘要由CSDN通过智能技术生成

hadoop学习笔记--5.HDFS的java api接口访问

一：几个常用类介绍

（1）：configuration类：此类封装了客户端或服务器的配置，通过配置文件来读取类路径实现（一般是core-site.xml）。

（2）：FileSystem类：一个通用的文件系统api，用该对象的一些方法来对文件进行操作。

FileSystem fs = FileSystem.get(conf);通过FileSystem的静态方法get获得该对象。

（3）：FSDataInputStream：HDFS的文件输入流，FileSystem.open()方法返回的即是此类。

（4）：FSDataOutputStream：HDFS的文件输入出流，FileSystem.create()方法返回的即是此类。

二：创建文件目录

public static void mkdir(String path) throws IOException {
		 //读取配置文件
		Configuration conf = new Configuration();
		//获取文件系统
		FileSystem fs = FileSystem.get(URI.create("hdfs://hadoop1:9000"),conf);
		
		Path srcPath =  new Path(path);
		//调用mkdir（）创建目录，（可以一次性创建，以及不存在的父目录）
		boolean flag = fs.mkdirs(srcPath);
		if(flag) {
			 System.out.println("create dir ok!");
		}else {
			 System.out.println("create dir failure");
		}
		
		//关闭文件系统
		fs.close();
	}