HDFS编程

白牧羊人

已于 2023-11-06 16:41:31 修改

阅读量391

点赞数 2

分类专栏：大数据基础文章标签： hdfs hadoop 大数据

于 2023-11-06 16:41:02 首次发布

本文链接：https://blog.csdn.net/qq_75121443/article/details/134249530

版权

大数据基础专栏收录该内容

3 篇文章 0 订阅

订阅专栏

实验2：HDFS编程

实验步骤1 【实验介绍】

实验内容

本实验利用 Hadoop 提供的 Java API 进行编程对 HDFS 进行操作。
实验目标

通过本实验掌握利用 Hadoop 提供的 Java API 进行编程对 HDFS 进行操作。
实验知识点

Hadoop Java API

HDFS 目录操作
实验环境

Hadoop 2.7.1

IDEA 11.0.10

CourseGrading在线实验环境

工作目录：~/Desktop/workspace/hdfs_pro

预备知识

Hadoop 基本操作

MapReduce 编程基础

HDFS 基本操作

Java 编程基础
实验步骤2 【实验原理】HDFS文件系统编程框架

以下代码为HDFS文件系统的编程框架：

01 import org.apache.hadoop.conf.Configuration;
02 import org.apache.hadoop.fs.FileSystem;
04 public class FileExist {
05     public static void main(String[] args) {
06         try {
07             Configuration conf = new Configuration();
08             FileSystem fs = FileSystem.get(conf);
09         }catch(Exception e) {
10             e.printStackTrace();
11         }
12     }
13 }

上述代码的第7行到第8行为根据配置（Configuration）创建文件系统。文件编程的接口大多都是基于FileSystem类提供的方法进行的，在获得fs对象后，就可以对文件进行操作了。

FileSystem类中各方法的详细含义可参考：FileSystem (Apache Hadoop Main 3.3.6 API)

实验步骤3 【大数据集群使用说明】

大数据集群和云桌面实验环境是联动的，在实验平台对云桌面实验环境进行创建、停止、启动、还原等操作时，会同时对大数据集群进行相应的操作。

接下来，以1主3从的4节点大数据集群为例进行说明。

1. 大数据集群的创建

当你第一次进入云桌面实验环境时，平台会在后台服务器上为你创建云桌面环境，创建完毕后（这时候你在浏览器上可以看到云桌面了），平台会继续创建大数据集群。

由于第一次创建大数据集群时，需要进行集群的初始化操作。因此，集群创建有一定的延迟（大约30秒）。

注意：你需要等待集群成功初始化后，才可以在云桌面实验环境中进行大数据实验的相关操作。

你可以通过点击实验手册上栏右侧的更多-->容器启动日志来查看集群是否初始化成功，如下图所示：

创建大数据集群时产生的日志在“=== docker create ===”分割线下方，如下图所示：

当你在集群创建日志中（需要下拉浏览器滚动条）能看到如下图所示的提示时，就说明集群已经创建成功了。

如果未看到该信息，你可以通过再次点击更多-->容器启动日志的方式刷新日志信息，直到确认集群成功创建后，才可以继续做大数据实验。

2. 大数据集群的停止

当你退出云桌面实验环境页面（关闭页面或者跳转到其他页面）超过30分钟时，平台会自动关闭云桌面实验环境。

同时，平台也会同步地关闭你的大数据集群。

3. 大数据集群的启动

当你在云桌面实验环境处于关闭状态打开云桌面实验环境时，平台会自动启动你的云桌面环境，同时，平台也会同步启动你的大数据集群。

启动大数据集群时产生的日志在“=== docker start ===”分割线下方，如下图所示：

当你在集群启动日志中能看到如下图所示的提示时，就说明集群已经启动成功了。

如果未看到该信息，你可以通过再次点击更多-->容器启动日志的方式刷新日志信息，直到确认集群成功启动后，才可以继续做大数据实验。

4. 大数据集群的重启

当你点击实验手册上栏右侧的更多-->重新启动重启云桌面实验环境时，实验平台也会自动重启大数据集群。

实验平台会首先对大数据集群进行停止操作，然后再进行启动操作。

因此，你可以通过查看集群的启动日志来确认集群是否启动成功。

5. 大数据集群的还原

当你点击实验手册上栏右侧的更多-->桌面还原还原云桌面实验环境时，实验平台也会自动还原大数据集群。

实验平台会首先对大数据集群进行停止操作，然后再进行删除操作，最后再进行创建操作。

因此，你可以通过查看集群的创建日志来确认还原后的集群是否创建成功。

6. 访问大数据集群

实验平台自动实现了云桌面实验环境到大数据集群各节点的ssh无密码访问。因此，你打开终端后，可以直接用ssh命令登录各节点。

在云桌面实验环境中，点击鼠标右键，选择Open Terminal Here打开Linux终端，如下图所示。

通过命令ssh master可无密码登录master节点（通过exit命令可退出登录），如下图所示：

通过命令ssh slave1可无密码登录slave1节点，如下图所示。

同理，通过命令ssh slave2可无密码登录slave2节点，通过命令ssh slave3可无密码登录slave3节点。

可通过cat /etc/hosts查看当前集群的配置，下图所示的hosts文件说明当前的大数据集群是包含1个主节点和3个从节点的4节点集群。

如果大数据集群是1主9从的10节点集群，那你用cat /etc/hosts命令应该可以看到一个master节点和9个slave节点（slave1-slave9）。

实验步骤4 【实验准备】

开启服务

【新版环境】集群中提供了大数据服务的启动脚本。如下所示：

以hadoop服务为例，如下操作：

(master) > bash /scripts/hadoop/start-hadoop.sh

验证如下：

创建工作目录

本实验的工作目录为~/Desktop/workspace/hdfs_pro，使用以下命令创建和初始化工作目录：

root@cg:~/Desktop# mkdir -p ~/Desktop/workspace/hdfs_pro
root@cg:~/Desktop# cd ~/Desktop/workspace/hdfs_pro
root@cg:~/Desktop/workspace/hdfs_pro#

创建IDEA工程

接下来创建IDEA工程：

启动IDEA环境。

在项目名称（Project Name）处填入hdfs_pro，将工程位置选择为本实验的工作目录，再点击Finish。

如下图所示：

导入依赖

依次点击：File -> Project Structure...

Modules -> Dependencies, 点击+号添加 JARs or Directories...

依次添加以下文件：

/opt/module/hadoop-2.7.1/share/hadoop/common
/opt/module/hadoop-2.7.1/share/hadoop/common/lib
/opt/module/hadoop-2.7.1/share/hadoop/hdfs
/opt/module/hadoop-2.7.1/share/hadoop/httpfs
/opt/module/hadoop-2.7.1/share/hadoop/kms
/opt/module/hadoop-2.7.1/share/hadoop/mapreduce
/opt/module/hadoop-2.7.1/share/hadoop/tools
/opt/module/hadoop-2.7.1/share/hadoop/yarn

一、创建目录

1、相关接口说明

创建目录可以使用FileSystem的mkdirs方法，该方法的含义如下：

函数原型：public boolean mkdirs(Path f) throws IOException
函数功能：调用该方法，根据f指定的路径创建目录。目录的权限为默认权限。
参数说明：f，Path对象。表示要创建的目录的路径。
返回值：如果目录成功创建，返回true。
异常：如果遇到IO故障，抛出IOException异常。

mkdirs还有一个带有目录权限参数的版本，其原型为：

public abstract boolean mkdirs(Path f, FsPermission permission) throws IOException

2、完整实验代码

将 hdfs_pro 项目下 src/main/java 目录新建名为 CreateDir 的类

（选中java文件夹->File->new->Java Class->在name选项中填入 CreateDir->Finish）

该实验的完整实验代码如下：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.util.Scanner;
import java.net.URI;

public class CreateDir {
    public static void main(String[] args) {
        try {
            Scanner sc = new Scanner(System.in);
            String dirPath = '/'+sc.next();
            FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"), new Configuration());
            Path hdfsPath = new Path(dirPath);
            if(fs.mkdirs(hdfsPath)){
                System.out.println("Directory "+ dirPath +" has been created successfully!");
            }
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

将该代码拷贝到CreateDir.java文件中。如下图所示：

以上代码中主要调用fs的mkdirs方法来创建目录，如果目录创建成功，会输出相应提示信息。

3、运行结果分析

在CreateDir.java上，点击右键，选择Run ，执行程序。

输入目录名newdir。

运行结果的截图如下：

如图所示，目录newDir 已经被成功创建。

二、目录存在性判断

1、相关接口说明

判断文件是否存在需要使用FileSystem的exists方法，该方法的详细含义如下：

方法名：exists

方法原型：public boolean exists(Path f) throws IOException

接口功能：检查某个路径所指的目录是否存在。

接口说明：参数f的含义为源路径。如果目录存在，返回值为true。如果IO故障会抛出IOException异常。

2、完整实验代码

将 hdfs_pro 项目下 src/main/java 目录新建名为 DirExist 的类

（选中java文件夹->File->new->Java Class->在name选项中填入 DirExist->Finish）

该实验的完整代码如下所示：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.util.Scanner;
import java.net.URI;

public class DirExist {
    public static void main(String[] args) {
        try {
            Scanner sc = new Scanner(System.in);
            String dirName = '/'+sc.next();
            FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"), new Configuration());
            if(fs.exists(new Path(dirName ))) {
                System.out.println("Directory Exists!");
            } else {
                System.out.println("Directory not Exists!");
            }
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

3、运行结果分析

使用和上一节相同的方法运行该代码。

输入正确目录名：newDir

结果如下：

输入错误目录名：Newdir

结果如下：

如图所示，程序判断无误。

三、列出目录中的内容

1、相关接口说明

在HDFS文件系统上浏览某个目录中子文件和子目录时，需要使用FileSystem类提供的listStatus方法，该方法将返回该目录下所有子文件和子目录的详细信息，包括文件的长度、块大小、备份数、修改时间、所有者以及权限等信息，这些信息都被封装在FileStatus对象中。调用listStatus方法时需要提供目录的路径，listStatus方法的详细说明如下：

函数原型：public abstract FileStatus[] listStatus(Path f) throws FileNotFoundException, IOException

函数功能：根据输入参数f所指定的目录，列出该目录下所有子文件/子目录的详细信息。注意，该接口不保证返回的文件/目录信息是有序的。

函数参数：f，指定目录的路径。

返回值：f所指定的目录下所有子文件/子目录的详细信息。

异常：两种异常，FileNotFoundException和IOException。当所指定的目录不存在时，抛出FileNotFoundException异常。当遇到IO故障时，返回IOException异常。

2、完整实验代码

将 hdfs_pro项目下 src/main/java目录新建名为 ListFiles 的类

（选中java文件夹->File->new->Java Class->在name选项中填入 ListFiles->Finish）

该实验的完整代码如下：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.FileUtil;
import org.apache.hadoop.fs.Path;

import java.net.URI;
import java.util.Scanner;

public class ListFiles {
    public static void main(String[] args) {
        try {
            Scanner sc = new Scanner(System.in);
            String filePath = sc.next();
            FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"), new Configuration());
            Path srcPath = new Path(filePath);
            FileStatus[] stats = fs.listStatus(srcPath);
            Path[] paths = FileUtil.stat2Paths(stats);
            for(Path p : paths)
                System.out.println(p.getName());
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

3、运行结果分析

使用和上节相同的方法运行代码。

输入根目录：/

运行结果如下：

如图，程序成功列出了根目录下的所有文件。

四、删除目录

1、相关接口说明

删除文件可以使用FileSystem的delete接口，该接口的含义如下：

函数原型：public abstract boolean delete(Path f,boolean recursive) throws IOException
函数功能：删除文件或者目录。
参数说明：f，要删除的文件或者目录的路径。recursive，是否需要递归删除。如果是删除目录的话，将该参数设置为true。否则，设置为false.
返回值：如果成功删除，则返回true。否则，返回false。
如果遇到IO故障，会抛出IOException。

2、完整实验代码

将 hdfs_pro项目下 src/main/java目录新建名为 DeleteDir的类

（选中java文件夹->File->new-> Java Class->在name选项中填入 DeleteDir->Finish）

该实验的完整代码如下所示：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;
import java.util.Scanner;

public class DeleteDir {
    public static void main(String[] args) {
        try {
            Scanner sc = new Scanner(System.in);
            String dirPath = '/'+sc.next();
            FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"), new Configuration());
            Path hdfsPath = new Path(dirPath);
            if(fs.delete(hdfsPath,true)){
                System.out.println("Directory "+ dirPath +" has been deleted successfully!");
            }
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

3、运行结果分析

使用和上节相同的方法运行代码。

输入目录名：newDir

运行结果如下：

可以看到，之前创建的 newDir 目录被成功删除。

可以通过上一节中的ListFiles类进行验证。

实验步骤6 【实验步骤】文件的相关操作

一、创建文件

1、相关接口说明

使用FileSystem的create函数可以创建文件，根据参数的不同，create函数有以下几种重载类型：

public FSDataOutputStream create(Path f) throws IOException

public FSDataOutputStream create(Path f,boolean overwrite) throws IOException

public FSDataOutputStream create(Path f,Progressable progress) throws IOException

public FSDataOutputStream create(Path f,short replication) throws IOException

public FSDataOutputStream create(Path f,short replication,Progressable progress) throws IOException

public FSDataOutputStream create(Path f,boolean overwrite,int bufferSize) throws IOException

public FSDataOutputStream create(Path f,boolean overwrite,int bufferSize,Progressable progress) throws IOException

public FSDataOutputStream create(Path f,boolean overwrite,int bufferSize,short replication,long blockSize) throws IOException

public FSDataOutputStream create(Path f,boolean overwrite,int bufferSize,short replication,long blockSize,Progressable progress)throws IOException

public abstract FSDataOutputStream create(Path f,FsPermission permission,boolean overwrite,int bufferSize,short replication,long blockSize,Progressable progress) throws IOException

public FSDataOutputStream create(Path f,FsPermission permission,EnumSet<CreateFlag> flags,int bufferSize,short replication,long blockSize,Progressable progress) throws IOException

public FSDataOutputStream create(Path f,FsPermission permission,EnumSet<CreateFlag> flags,int bufferSize, short replication,long blockSize,Progressable progress, org.apache.hadoop.fs.Options.ChecksumOpt checksumOpt) throws IOException

上述接口中，各参数的含义分别如下：

f，要打开的文件名，默认会覆盖已经存在的文件。

overwrite，如果要创建的文件已经存在，是否覆盖。设置为true时，覆盖；为false时，不覆盖。

progress，用于汇报进度信息。

replication，设置文件块的副本数量。

bufferSize，所使用的缓冲区的大小。

blockSize，块大小。

permission，设置文件的权限。

flags，指定文件创建标志，文件创建标志包括：CREATE，APPEND，OVERWRITE ，SYNC_BLOCK ，LAZY_PERSIST ，APPEND_NEWBLOCK等。

2、完整实验代码

将hdfs_pro项目下src/main/java目录新建名为 CreateFile 的类

（选中java文件夹->File->new->Java Class->在name选项中填入CreateFile->Finish）

此次实验的完整代码如下所示：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;
import java.util.Scanner;

public class CreateFile {
    public static void main(String[] args) {
        try {
            Scanner sc = new Scanner(System.in);
            String filePath = '/'+sc.next();
            FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"), new Configuration());
            Path hdfsPath = new Path(filePath);
            fs.create(hdfsPath);
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

3、运行结果分析

使用和上节相同的方法运行代码。

输入文件名：newfile.txt

运行结果如下：

在云桌面终端，输入命令验证

root@cg:~/Desktop/workspace/hdfs_pro# hadoop fs -ls /

如图所示，文件已经成功被创建。

二、文件存在性判断

1、相关接口说明

判断文件是否存在需要使用FileSystem的exists方法，该方法的详细含义如下：

方法名：exists

方法原型：public boolean exists(Path f) throws IOException

接口功能：检查某个路径所指的文件是否存在。

接口说明：参数f的含义为源路径。如果文件存在，返回值为true。如果IO故障会抛出IOException异常。

2、完整实验代码

将hdfs_pro项目下src/main/java目录新建名为FileExist 的类

（选中java文件夹->File->new->Java Class->在name选项中填入FileExist->Finish）

该实验的完整代码如下：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;
import java.util.Scanner;

public class FileExist {
    public static void main(String[] args) {
        try {
            Scanner sc = new Scanner(System.in);
            String fileName = '/'+sc.next();
            FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"), new Configuration());

            if(fs.exists(new Path(fileName))) {
                System.out.println("File Exists!");
            } else {
                System.out.println("File not Exists!");
            }
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

3、运行结果分析

点击Run运行代码。

输入文件名：newfile.txt

运行结果如下：

可以发现newfile.txt存在。

三、文件写

1、相关接口说明

HDFS不支持文件的随机写，写文件的方式有两种：1）文件不存在，创建文件之后，开始对文件的内容进行写入。2）文件存在，打开文件，在文件尾部追加写。

对于第一种方式，由于调用create方法后会返回FSDataOutputStream对象，使用该对象对文件进行写操作。第二种方式，使用FileSystem类的append接口，该接口也会返回FSDataOutputStream对象，同样使用该对象可对文件进行追加操作。

create方法在文件创建实验中已经进行了详细说明，这里对FSDataOutputStream的相关常用方法进行说明，FSDataOutputStream有三个常用的方法，分别为write，flush，close函数。write将数据写入到文件中，flush将数据缓存在内存中的数据更新到磁盘，close则关闭流对象。

FileSystem的append函数详细说明如下：

函数原型：public FSDataOutputStream append(Path f) throws IOException

函数功能：在一个已经存在的文件尾部追加数据。

函数参数：f，文件路径。

返回值：FSDataOutputStream对象。

异常：遇到IO故障时，抛出IOException异常。

2、完整实验代码

将hdfs_pro项目下src/main/java目录新建名为 WriteFile 的类

（选中java文件夹->File->new->Java Class->在name选项中填入WriteFile->Finish）

该实验的完整代码如下所示：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;
import java.util.Scanner;

public class WriteFile {
    public static void main(String[] args) {
        try {
            Scanner sc = new Scanner(System.in);
            String filePath = '/'+sc.next();
            FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"), new Configuration());

            Path srcPath = new Path(filePath);
            FSDataOutputStream os = fs.create(srcPath,true,1024,(short)1,(long)(1<<26));
            String str = "Hello, this is a sentence that should be written into the file.\n";
            os.write(str.getBytes());
            os.flush();
            os.close();

            os = fs.append(srcPath);
            str = "Hello, this is another sentence that should be written into the file.\n";
            os.write(str.getBytes());
            os.flush();
            os.close();
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

该代码中，文件的写入分为两部分，第一部分使用create返回的FSDataOutputStream对象进行写入，第二部分使用append返回的FSDataOutputStream对象进行写入。

3、运行结果分析

点击Run运行代码。

输入文件名：newfile.txt

运行结果如下：

在云桌面终端，输入命令验证

root@cg:~/Desktop/workspace/hdfs_pro# hadoop fs -cat /newfile.txt

如图所示，文件成功写入。

四、文件读

1、相关接口说明

如果要读取HDFS上的文件，可以使用open方法。open方法会返回一个FSDataInputStream对象，使用该对象可对文件进行读操作。open函数详细说明如下：

函数原型：public FSDataInputStream open(Path f) throws IOException

函数功能：打开Path对象f指定的路径的文件。

参数说明：f，要打开的文件。

返回值：FSDataInputStream对象，利用FSDataInputStream对象可对文件进行读操作。

异常：遇到IO故障时，将抛出IOException。

open方法还有一个带有bufferSize参数的重载版本，该方法的原型为：

public abstract FSDataInputStream open(Path f,int bufferSize) throws IOException

其中，bufferSize的含义为读取过程中所使用的缓冲区的大小。

2、完整实验代码

将hdfs_pro项目下src/main/java目录新建名为ReadFile 的类

（选中java文件夹->File->new->Java Class->在name选项中填入ReadFile->Finish）

该实验的完整代码如下：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataInputStream;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;
import java.util.Scanner;

public class ReadFile {
    public static void main(String[] args) {
        try {
            Scanner sc = new Scanner(System.in);
            String filePath = '/'+sc.next();
            FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"), new Configuration());
            
            Path srcPath = new Path(filePath);

            FSDataInputStream is = fs.open(srcPath);
            while(true) {
                String line = is.readLine();
                if(line == null) {
                    break;
                }
                System.out.println(line);
            }
            is.close();
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

3、运行结果分析

点击Run运行代码。

输入文件名：newfile.txt

运行结果如下：

如图，文件中的内容成功被读取。

五、文件重命名

1、相关接口说明

文件重命名可以使用FileSystem的rename方法，该方法的详细说明如下：

函数原型：public abstract boolean rename(Path src,Path dst)throws IOException

函数功能：将路径src重命名为路径dst。

参数：src，将被重命名的路径。dst，重命名后的路径。

返回值：如果重命名成功，返回true；否则，返回false；

异常：如果遇到IO故障，抛出IOException异常。

2、完整实验代码

将hdfs_pro项目下src/main/java目录新建名为Rename 的类

（选中java文件夹->File->new->Java Class->在name选项中填入Rename->Finish）

该实验的完整代码如下：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;
import java.util.Scanner;

public class Rename {
    public static void main(String[] args) {
        try {
            Scanner sc = new Scanner(System.in);
            String srcStrPath = '/'+sc.next();
            String dstStrPath = '/'+sc.next();
            FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"), new Configuration());
            Path srcPath = new Path(srcStrPath);
            Path dstPath = new Path(dstStrPath);
            if(fs.rename(srcPath,dstPath)) {
                System.out.println("rename from " + srcStrPath + " to " + dstStrPath + "successfully!");
            }
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

3、运行结果分析

点击Run运行代码。

输入文件名与新的文件名：

newfile.txt
file.txt

运行结果如下：

在云桌面终端，输入命令验证

root@cg:~/Desktop/workspace/hdfs_pro# hadoop fs -ls /

如图可以发现文件已经重命名。

六、文件删除

1、相关接口说明

删除文件可以使用FileSystem的delete接口，该接口的含义如下：

函数原型：public abstract boolean delete(Path f,boolean recursive) throws IOException
函数功能：删除文件或者目录。
参数说明：f，要删除的文件或者目录的路径。recursive，是否需要递归删除。如果是删除目录的话，将该参数设置为true。否则，设置为false.
返回值：如果成功删除，则返回true。否则，返回false。
如果遇到IO故障，会抛出IOException。

2、完整实验代码

将hdfs_pro项目下src/main/java目录新建名为DeleteFile 的类

（选中java文件夹->File->new->Java Class->在name选项中填入DeleteFile->Finish）

该实验的完整代码如下：

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;
import java.util.Scanner;

public class DeleteFile {
    public static void main(String[] args) {
        try {
            Scanner sc = new Scanner(System.in);
            String filePath = '/'+sc.next();
            FileSystem fs = FileSystem.get(new URI("hdfs://master:9000"), new Configuration());
            
            Path hdfsPath = new Path(filePath);
            if(fs.delete(hdfsPath,false)){
                System.out.println("File "+ filePath +" has been deleted successfully!");
            }
        }catch(Exception e) {
            e.printStackTrace();
        }
    }
}

3、运行结果分析

点击Run运行代码。

输入文件名：file.txt

运行结果如下：

在云桌面终端，输入命令验证

root@cg:~/Desktop/workspace/hdfs_pro# hadoop fs -ls /

file.txt 已经被删除。

实验步骤7 【实验作业1】自己动手实现HDFS Shell

基于已经学习到的Hadoop API编程知识，自己动手实现一个简单的HDFS Shell程序，程序名称为HShell，要求能够支持以下功能：

1.使用HShell -cp 本地路径 HDFS路径，将文件从Linux本地文件系统拷贝到HDFS指定路径上。

2.使用HShell -rm 路径删除文件

3.使用HShell -rm -r 路径删除目录

4.使用HShell -cp -r 本地目录路径 HDFS路径，将目录从Linux本地拷贝到HDFS指定路径上。

5.使用HShell -list 路径显示某个文件的信息或者某个目录的信息

6.使用HShell -mv 路径路径移动文件或者重命名文件

7.使用HShell -find 文件名目录实现在目录下递归查找某个文件名的文件

白牧羊人

关注

2
点赞
踩
9

收藏

觉得还不错? 一键收藏
1
评论
HDFS编程

实验内容本实验利用 Hadoop 提供的 Java API 进行编程对 HDFS 进行操作。实验目标通过本实验掌握利用 Hadoop 提供的 Java API 进行编程对 HDFS 进行操作。实验知识点HDFS 目录操作实验环境CourseGrading在线实验环境工作目录：~/Desktop/workspace/hdfs_pro预备知识Hadoop 基本操作MapReduce 编程基础HDFS 基本操作Java 编程基础。
复制链接

扫一扫

专栏目录