HDFS JAVA API（Hadoop3.0）

实验目的

1.掌握HDFS JAVA API的

2.了解JAVA API的执行流程

实验原理

1.HDFS（Hadoop Distributed File System）是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础篇，为了实现本地与HDFS的文件传输，主要借助Eclipse开发环境，通过java编程实现了远程HDFS的文件创建，上传，下载，删除等。

其实对HDSF的文件操作主要有两种方式：命令行的方式和JavaAPI的方式。命令行的方式简单直接，但是必须要求本地机器也是在Linux系统中已经安装了hadoop，这对习惯用windows系统的用户来说不得不安装虚拟机，然后再在虚拟机上安装Linux系统，这是一种挑战。同时windows系统与虚拟机上安装的Linux系统进行文件传输也是要借助一些工具才可以实现。

为了实现以上所遇到诸如系统不一致，手动输入命令等的困扰，我们选择Java API的方式，有专门的API函数，可以在非Hadoop机器上实现访问，同时与系统无关（windows、Linux甚至XP系统也可以）。Hadoop中关于文件操作类基本上全部是在"org.apache.hadoop.fs"包中，Hadoop类库中最终面向用户提供的接口类是FileSystem，该类封装了几乎所有的文件操作，例如CopyToLocalFile、CopyFromLocalFile、mkdir及delete等。综上基本上可以得出操作文件的程序库框架：

operator( ) {
　　　　得到Configuration对象
　　　　得到FileSystem对象
　　　　进行文件操作 
}

2.下面介绍实现上述程序库框架中各个操作的具体步骤

Java抽象类org.apache.hadoop.fs.FileSystem定义了hadoop的一个文件系统接口。该类是一个抽象类，通过以下两种静态工厂方法可以过去FileSystem实例：

public static FileSystem.get(Configuration conf) throws IOException

public static FileSystem.get(URI uri, Configuration conf) throws IOException

HDFS上的文件创建，上传，下载，删除等操作的具体方法实现：

（1）public boolean mkdirs(Path f) throws IOException

一次性新建所有目录（包括父目录）， f是完整的目录路径。

（2）public FSOutputStream create(Path f) throws IOException

创建指定path对象的一个文件，返回一个用于写入数据的输出流

create()有多个重载版本，允许我们指定是否强制覆盖已有的文件、文件备份数量、写入文件缓冲区大小、文件块大小以及文件权限。

（3）public boolean copyFromLocal(Path src, Path dst) throws IOException

将本地文件拷贝到文件系统

（4）public boolean exists(Path f) throws IOException

检查文件或目录是否存在

（5）public boolean delete(Path f, Boolean recursive)

永久性删除指定的文件或目录，如果f是一个空目录或者文件，那么recursive的值就会被忽略。只有recursive＝true时，一个非空目录及其内容才会被删除。

（6）FileStatus类封装了文件系统中文件和目录的元数据，包括文件长度、块大小、备份、修改时间、所有者以及权限信息。

实验环境

Linux Ubuntu 20.04

Java 1.8.0

Hadoop-3.0.0

Eclipse-JEE 2022.03

hadoop-eclipse-plugin-2.7.3.jar 

实验内容

本实验涉及到使用Java API对HDFS的一些基本操作。

1.创建类MakeDir.class，在HDFS的根目录下，创建名为hdfstest的目录。

2.创建类TouchFile.class，在HDFS的目录/hdfstest下，创建名为touchfile的文件。

3.创建类CopyFromLocalFile.class，将linux本地文件/data/mydata/sample_data，上传到HDFS文件系统的/hdfstest目录下。

4.创建类CopyToLocalFile.class，将HDFS文件系统上的文件/hdfstest/sample_data，下载到本地/data/mydata/copytolocal 。

5.创建类ListFiles.class，列出HDFS文件系统/hdfstest目录下，所有的文件，以及文件的权限、用户组、所属用户。

6.创建类IteratorListFiles.class，列出HDFS文件系统/根目录下，以及各级子目录下，所有文件以及文件的权限、用户组，所属用户。

7.了解FileSystem类下的方法，例如：判断文件是否存在、删除文件、重命名文件等。

8.创建类LocateFile.class，查看HDFS文件系统上，文件/hdfstest/sample_data的文