JAVA API实现HDFS操作（一）获取FileSystem

最新推荐文章于 2024-08-06 10:22:43 发布

思想在拧紧

最新推荐文章于 2024-08-06 10:22:43 发布

阅读量2.3k

点赞数 2

分类专栏： # hadoop 文章标签： hdfs java hadoop

本文链接：https://blog.csdn.net/what_how_why2020/article/details/121148374

版权

hadoop 专栏收录该内容

19 篇文章 1 订阅

订阅专栏

说明：本文对Java API实现HDFS操作的第一步–获取FileSystem对象进行简要解释

获取文件系统对象 FileSystem

用FileSystem对文件进行操作

四种获取FileSystem的方式

public class HdfsApiDemo{
	// 第一种方式
	public void getFileSystem1(){
	    // 创建Configuraion对象
	    Configuration conf = new Configuration();
	    // 设置文件系统类型，分布式文件系统uri
	    conf.set("fs.defaultFS", "hdfs://localhost:9000");
	    // 获取指定文件系统--从conf中的一个参数fs.defaultFS来判断具体是什么类型的文件系统
	    FileSystem hdfs = FileSystem.get(conf);
	    // 输出
	    System.out.println(hdfs);
	}
	// 第二种方式
	public void getFileSystem2(){
	    Configuration conf = new Configuration();
	    String hdfsPath = "hdfs://localhost:9000";
	    
	    FileSystem hdfs = FileSystem.get(new URI(hdfsPath), conf);
	    
	    // FileSystem hdfs = FileSystem.get(new URI("hdfs://localhost:9000"), new Configuration（));
	    System.out.println(hdfs);
	}
	// 第三种方式
	public void getFileSystem3{
		Configuration conf = new Configuration();
		// 制定文件类型
		conf.set("fs.defaultFS", "hdfs://localhost:9000");
		// 获取指定的文件系统
		FileSystem fs = FileSystem.newInstance(conf);
		System.out.println(fs.toString());
	}
	// 第四种方式
	public void getFileSystem4{
		// 获取指定的文件系统
		FileSystem fs = FileSystem.newInstance(new URI("hdfs://localhost:9000"), new Configuration());
		System.out.println(fs.toString());
	}

URI理解

URI称为统一资源标示符，在Hadoop中使用URI路径作为参数，其格式是：scheme://authority/path。¹

	HDFS文件系统	本地文件系统	解释
scheme	`hdfs://`	`file:///`	可选，协议名
authority	`namenode`		可选
path			文件的路径构成的字符串
实例	`hdfs://localhost:9000/test`	`file:///d:/test/test.txt`

Configuration

我们在使用Hadoop、Spark或者是Hbase，最常遇到的问题就是进行相关系统的配置，比如集群的URL地址，MapReduce临时目录、最终输出路径等。这些属性需要有一个系统（类）进行管理。然而，Hadoop没有使用 Java.util.Properties 管理配置文件，也没有使用Apache Jakarta Commons Configuration管理配置文件，而是单独开发了一个配置文件管理类，这个类就是org.apache.hadoop.conf.Configuration。它可以解析如下格式的xml文件：

<!--core-site.xml-->
<configuration>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/java/hadoop/hadoop-2.7.1/tmp</value>
    <description>Abase for other temporary directories.</description>
  </property>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>
  </property>
</configuration>

<!--hdfs-site.xml-->
<configuration>
	<property>
		<name>dfs.replication</name>
		<value>1</value>
	</property>
	<property>
		<name>dfs.namenode.name.dir</name>
		<value>/usr/local/java/hadoop/hadoop-2.7.1/tmp/dfs/name</value>
	</property>
	<property>
		<name>dfs.datanode.data.dir</name>
		<value>/usr/local/java/hadoop/hadoop-2.7.1/tmp/dfs/data</value>
	</property>
</configuration>

创建一个Configuration对象时，其构造方法会默认加载hadoop中的两个配置文件，分别是core-default.xml和core-site.xml，这两个文件中会有访问hdfs所需的参数值，默认是fs.default.name，若开启了 NN 的HA (namenode 的 highavaliable)²，则为fs.defaultFS。指定了hdfs的地址，客户端就可以通过此地址访问hdfs文件系统。即可理解为configuration就是hadoop中的配置信息。³

获取FileSystem对象后，即可使用Java API实现常用得HDFS操作，如：文件下载、上传、查看文件信息等。
详见：JAVA API实现HDFS操作（二）操作函数

用Java API实现HDFS操作过程中的常见问题，详见：用Java API实现HDFS操作（三）问题汇总

参考文章