hadoop----IDE简单操作HDFS

最新推荐文章于 2024-05-25 09:45:31 发布

小口天,

最新推荐文章于 2024-05-25 09:45:31 发布

阅读量656

点赞数

分类专栏： Hadoop

本文链接：https://blog.csdn.net/WQY992/article/details/89476013

版权

这篇博客介绍了如何在IDE中进行HDFS的基本操作，包括写入数据、创建目录、查询文件系统、修改文件属性、使用append方法、查看BlockLocation、获取Datanode信息以及理解HDFS的一致模型。重点讲解了使用FileSystem类创建文件、FileStatus类获取文件元数据以及如何确保数据可见性的方法。

摘要由CSDN通过智能技术生成

写入数据

FileSystem类有一系列新建文件的方法，最简单的方法就是给准备建的文件指定一个Path对象，然后返回一个写入数据的输出流。

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IOUtils;
/**
	 * 通过java api来连接HDFS进行写操作。
	 * 默认加载客户端上的默认配置信息，比如 blocksize =128M  replication=3
	 * 
	 * 相当于shell 接口的
	 * hadoop fs -put 
 */
public class TestAPI3 {
	public static void main(String[] args) throws IOException {
		Configuration conf = new Configuration();
		FileSystem fs =  FileSystem.get(conf);
		Path path = new Path("hdfs://192.168.172.150:9000/d5/d6/text1");
		FSDataOutputStream output = fs.create(path);
		output.write("hello kitty".getBytes());
		IOUtils.closeStream(output);

		//查询文件数据
		FSDataInputStream input = fs.open(path);
		IOUtils.copyBytes(input, System.out, 10,false);
		IOUtils.closeStream(input);
	}
}

创建目录

通常，你不需要显式创建一个目录，因为调用create()方法写入文件时会自动创建父目录


import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;
/*
 * 相当于shell 接口的
 * ]$ hadoop fs -mkdir -p /d3/d4
 */
public class TestAPI4 {
	@Test
	public void TestMkdir() throws IOException {
		Configuration conf = new Configuration();
		FileSystem fs = FileSystem.get(conf);
		Path path = new Path("hdfs://192.168.172.150:9000/d3/d4");
		boolean b = fs.mkdirs(path);
		System.out.println("目录是否创建成功："+b);
		
	}
}

查询文件系统

任何文件系统的一个重要特征都是提供其目录结构，浏览和检索它所存文件和目录相关信息的功能。
FileStatus类封装了文件系统中文件和目录的元数据，包括文件长度、块大小、复本、修改时间、所有者以及权限信息。

import java.io.IOException;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

public class TestAPI5 {
	public static void main(String[] args) throws IOException {
		Configuration conf = new Configuration();
		FileSystem fs = FileSystem.get(conf);
		Path path = new Path("hdfs://192.168.172.150:9000/a");
		
		/*
		* FileSystem的getFileStatus()方法
		* 用于获取文件或目录的FileStatu