大数据上课笔记之使用Java API操作HDFS

原创 已于 2022-12-02 09:33:48 修改 · 2.4k 阅读 · 26 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据 #hdfs #java

于 2022-12-01 21:54:47 首次发布

目录

一、HDFS Java API的了解

1、HDFS常见类与接口

 二、编写Java程序访问HDFS

1、在IEDA上创建Maven项目

2、添加相关依赖

3、创建日志属性文件

4、启动集群HDFS服务

5、在HDFS上创建文件 

6、写入HDFS文件 

7、读取HDFS文件 

8、重命名目录或文件

9、显示文件列表 

9.1、显示指定目录下文件全部信息

9.2、显示指定目录下文件路径和长度信息

10、获取文件块信息

11、创建目录

12、判断目录或文件是否存在

13、判断Path指向目录还是文件

14、删除目录或文件 

14.1、删除文件

14.2、删除目录 

14.3、删除目录或文件

 三、课后复习

一、HDFS Java API的了解

  • HDFS Java API 位于“org.apache.hadoop.fs"包中，这些API能够支持的操作包含打开文件、读写文件、删除文件等。Hadoop类库中最终面向用户提供接口类是FileSystem，该类是个抽象类，只能通过类的get方法得到具体类，该类封装了大部分的文件操作，如mkdir、delete等。更多的API接口说明请访问Hadoop官方网站：Overview (Apache Hadoop Main 3.2.1 API)

1、HDFS常见类与接口

  • Hadoop整合了众多文件系统，HDFS只是这个文件系统的一个实例。
类或接口功能描述
org.apache.hadoop.fs.FileSystem一个通用文件系统的抽象基类，可被分布式文件系统继承。
org.apache.hadoop.fs.FileStatus文件状态接口，用于向客户端展示系统中文件和目录的元数据。具体包括文件大小、块大小、副本信息、所有者、修改时间等，可通过FileSystem.listStatus()方法获得具体的实例对象。
org.apache.hadoop.fs.FileDataInputStream文件输入流，用于读取Hadoop文件。
org.apache.hadoop.fs.FileDataOutputStream文件输出流，用于写Hadoop文件。
org.apache.hadoop.fs.Configuration访问配置项，所有配置项的值，如果在core-site.xml中有对应的配置，则以core-site.xml为准。
org.apache.hadoop.fs.Path路径，用于表示Hadoop文件系统中的一个文件或一个目录的路径。
org.apache.hadoop.fs.PathFilter路径过滤器接口，通过实现方法PathFilter.accept(Path path)来判断是否接收路径path表示的文件或目录。

  • FileSystem对象的一些方法可以对文件进行操作

方法名功能描述
copyFromLocalFile(Path src, Path dst)从本地磁盘复制文件到HDFS
copyToLocalFile(Path src, Path dst)从HDFS复制文件到本地磁盘
mkdirs(Path f)建立子目录
rename(Path src, Path dst)重命名文件或文件夹
delete(Path f)删除指定文件

 二、编写Java程序访问HDFS

1、在IEDA上创建Maven项目

  • 创建Maven项目，选中Maven，然后选择jdk版本，然后点next

 

  • 选择存放位置，点击Finish完成创建。

2、添加相关依赖

  • 在pom.xml文件里添加hadoop和junit依赖

<dependencies>             
    <!--hadoop客户端-->                       
    <dependency>                                  
        <groupId>org.apache.hadoop</groupId>      
        <artifactId>hadoop-client</artifactId>    
        <version>3.3.4</version>                  
    </dependency>     
    <!--单元测试框架-->                            
    <dependency>                                  
        <groupId>junit</groupId>                  
        <artifactId>junit</artifactId>            
        <version>4.13.2</version>                 
    </dependency>                                 
</dependencies>
  •  点击刷新，会自动下载依赖文件

  • 搜索hadoop

 

  • 单击hadoop-client超链接

 

  •  单击3.3.4超链接

3、创建日志属性文件

  • 在resources目录里创建log4j.properties文件

log4j.rootLogger=stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/hdfs.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

4、启动集群HDFS服务

  • 在主节点上执行命令：start-dfs.sh

  • 在Hadoop WebUI界面查看

5、在HDFS上创建文件 

  • 在HDFS Shell里利用hdfs dfs -touchz命令可以创建时间戳文件
  • 实例：在/ied01目录创建hadoop.txt文件
  • 创建net.hw.hdfs包，在包里创建CreateFileOnHDFS类

  • 编写create1()方法

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.net.URI;


public class CreateFileOnHDFS {
    @Test
    public void create1() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 定义统一资源标识符（uri: uniform resource identifier）
        String uri = "hdfs://master:9000";
        // 创建文件系统对象（基于HDFS的文件系统）
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        // 创建路径对象（指向文件）
        Path path = new Path(uri + "/ied01/hadoop.txt");
        // 基于路径对象创建文件
        boolean result = fs.createNewFile(path);
        // 根据返回值判断文件是否创建成功
        if (result) {
            System.out.println("文件[" + path + "]创建成功！");
        } else {
            System.out.println("文件[" + path + "]创建失败！");
        }
    }
}
  •  注意：导包不能错，不然不能运行

  • 运行程序，查看结果

  • 利用Hadoop WebUI查看

  • 在/ied01目录里确实创建了一个0字节的hadoop.txt文件，有点类似于Hadoop Shell里执行hdfs dfs -touchz /ied01/hadoop.txt命令的效果，但是有一点不同，hdfs dfs -touchz命令重复执行，不会失败，只是不断改变该文件的时间戳。
  • 新建一个文件CreateFileOnHDFS_，事先判断文件是否存在

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import java.io.IOException;
import java.net.URI;

public class CreateFileOnHDFS_ {
    public static void main(String[] args) throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        //定义uri字符串
        String uri="hdfs://192.168.219.75:9000";
        //创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        // 创建路径对象
        Path path = new Path(uri + "/ied01/hadoop.txt");
        //判断路径对象指向的文件是否存在
        if(fs.exists(path)){
            //提示用户文件已经存在
            System.out.println("文件["+path+"]已经存在！");
        }else {
            try {
                //基于路径对象创建文件
                boolean result =fs.createNewFile(path);
                //根据返回值判断文件是否创建成功
                if (result) {
                    System.out.println("文件[" + path + "]创建成功！");
                } else {
                    System.out.println("文件[" + path + "]创建失败！");
                }
            } catch (IOException e) {
                System.out.println("异常信息："+e.getMessage());
            }
        }

    }

}
  •  运行程序，查看结果

6、写入HDFS文件 

  • 类似于HDFS Shell里的hdfs dfs -put命令
  • 在net.hw.hdfs包里创建WriteFileOnHDFS类
  • 实例：在/ied01目录里创建hello.txt文件

public class WriteFileOnHDFS {
    @Test
    public void write1() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 定义uri字符串
        String uri = "hdfs://192.168.219.75:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        // 创建路径对象（文件或目录）
        Path path = new Path(uri + "/ied01/hello.txt");
        // 创建文件输出流
        FSDataOutputStream out = fs.create(path);
        // 写数据
        out.write("hello hadoop world".getBytes());
        // 提示用户写文件成功
        System.out.println("文件[" + path + "]写入成功！");
        // 关闭输出流
        out.flush();
        // 关闭文件
        fs.close();
    }
  •  运行，查看结果

  • 利用Hadoop WebUI查看hello.txt文件

  •  将本地文件写入HDFS文件
  • 在项目根目录创建一个文本文件test.txt

  • 创建write2()方法

@Test
    public void write2() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://192.168.219.75:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象（指向目录或文件）
        Path path = new Path(uri + "/ied01/exam.txt");
        // 创建文件系统数据字节输出流对象
        FSDataOutputStream out = fs.create(path);
        // 创建文件字符输入流对象
        FileReader fr = new FileReader("test.txt");
        // 创建缓冲字符输入流对象
        BufferedReader br = new BufferedReader(fr);
        // 定义行字符串
        String nextLine = "";
        // 通过循环读取缓冲字符输入流
        while ((nextLine = br.readLine()) != null) {
            // 在控制台输出读取的行
            System.out.println(nextLine);
            // 通过文件系统数据字节输出流对象写入指定文件
            out.write(nextLine.getBytes());
        }
        // 关闭文件系统字节输出流
        out.close();
        // 关闭缓冲字符输入流
        br.close();
        // 关闭文件字符输入流
        fr.close();
        // 提示用户写入文件成功
        System.out.println("本地文件[test.txt]成功写入[" + path + "]！");
    }
  •  这是WriteFileOnHDFS里面的所有包，注意不要导错了
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;
import org.apache.hadoop.io.IOUtils;
import java.io.BufferedReader;
import java.io.FileReader;
import java.net.URI;
import java.io.FileInputStream;
  • 运行write2()测试方法，查看结果

  • 编写write2_()方法

@Test
    public void write2_() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义统一资源标识符（uri: uniform resource identifier）
        String uri = "hdfs://192.168.219.75:9000";
        // 创建文件系统对象（基于HDFS的文件系统）
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象（指向文件）
        Path path = new Path(uri + "/ied01/test.txt");
        // 创建文件系统数据字节输出流（出水管：数据从程序到文件）
        FSDataOutputStream out = fs.create(path);
        // 创建文件字节输入流（进水管：数据从文件到程序）
        FileInputStream in = new FileInputStream("test.txt");
        // 利用IOUtils类提供的字节拷贝方法在控制台显示文件内容
        IOUtils.copyBytes(in, System.out, 1024, false);
        //再次读取文件数据到文件字节输入流
        in=new FileInputStream("test.txt");
        // 利用IOUtils类提供的字节拷贝方法来复制文件
        IOUtils.copyBytes(in, out, conf);
        // 关闭文件字节输入流
        in.close();
        // 关闭文件系统数据字节输出流
        out.close();
        // 提示用户写入文件成功
        System.out.println("本地文件[test.txt]成功写入[" + path + "]！");
    }
  •  运行write2_()测试方法，查看结果

  • 查看/ied01/test.txt内容，文件是存在的，但是没有内容

  • 是因为字节输入流的数据已经输出到到控制台，此时字节输入流里已经没有数据，此时执行IOUtils.copyBytes(in, out, conf);，因此输出流肯定也没有数据可以写入文件，那该怎么办呢？再次读取文件，让字节输入流有数据。 

  • 运行write2_()方法，查看结果

  • 查看/ied01/test.txt文件

7、读取HDFS文件 

  • 相当于Shell里的两个命令：hdfs dfs -cat和hdfs dfs -get
  • 在net.hw.hdfs包里创建ReadFileOnHDFS类

  • 准备读取hdfs://master:9000/ied01/test.txt文件

  • 编写read1()方法 

  • 运行read1()测试方法，查看结果

  • 读取HDFS文件，保存为本地文件
  • 实例：将/ied01/test.txt下载到项目的download目录里
  • 创建download目录

  • 创建read2()方法

@Test
    public void read2() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义统一资源标识符（uri: uniform resource identifier）
        String uri = "hdfs://192.168.219.75:9000";
        // 创建文件系统对象（基于HDFS的文件系统）
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象（指向文件）
        Path path = new Path(uri + "/ied01/test.txt");
        // 创建文件系统数据字节输入流（进水管：数据从文件到程序）
        FSDataInputStream in = fs.open(path);
        // 创建文件字节输出流（出水管：数据从程序到文件）
        FileOutputStream out = new FileOutputStream("download/exam.txt");
        // 利用IOUtils工具类读取HDFS文件（靠输入流），写入本地文件（靠输出流）
        IOUtils.copyBytes(in, out, conf);
        // 关闭文件字节输出流
        out.close();
        // 关闭文件系统数据字节流输入流
        in.close();
        // 关闭文件系统
        fs.close();
        // 提示用户文件下载成功
        System.out.println("文件[" + path + "]下载到本地文件[download/exam.txt]！");
    }
  •  运行read2()测试方法，查看结果

8、重命名目录或文件

  • 相当于Shell里的hdfs dfs -mv命令
  • 在net.hw.hdfs包里创建RenameDirOrFile类
  • 实例：将/ied01目录更名为/lzy01

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.net.URI;

@Test
    public void renameDir() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义统一资源标识符（uri: uniform resource identifier）
        String uri = "hdfs://192.168.219.75:9000";
        // 创建文件系统对象（基于HDFS的文件系统）
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建源路径对象（指向目录）
        Path sourcePath = new Path(uri + "/ied01");
        // 创建目标路径对象（指向目录）
        Path destinationPath = new Path(uri + "/lzy01");
        // 利用文件系统对象重命名目录
        fs.rename(sourcePath, destinationPath);
        // 关闭文件系统
        fs.close();
        // 提示用户目录更名成功
        System.out.println("目录[" + sourcePath.getName() + "]更名为目录[" + destinationPath.getName() + "]！");
    }
  •  运行renameDir()方法，查看结果

  • 利用Hadoop WebUI界面查看

  • 实例：将lzy01目录下的hello.txt重命名为hi.txt

  •  编写renameFile()方法

@Test
    public void renameFile() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义统一资源标识符（uri: uniform resource identifier）
        String uri = "hdfs://192.168.219.75:9000";
        // 创建文件系统对象（基于HDFS的文件系统）
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建源路径对象（指向文件）
        Path sourcePath = new Path(uri + "/lzy01/hello.txt");
        // 创建目标路径对象（指向文件）
        Path destinationPath = new Path(uri + "/lzy01/hi.txt");
        // 利用文件系统对象重命名文件
        fs.rename(sourcePath, destinationPath);
        // 关闭文件系统
        fs.close();
        // 提示用户文件更名成功
        System.out.println("文件[" + sourcePath.getName() + "]更名为文件[" + destinationPath.getName() + "]！");
    }
  •  运行renameFile()测试方法，查看结果

  • 利用Hadoop WebUI界面查看

9、显示文件列表 

  • 在net.hw.hdfs包里创建ListHDFSFiles类

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;
import org.junit.Test;

import java.net.URI;

9.1、显示指定目录下文件全部信息

  • 实例：显示/lzy01目录下的文件列表


 

  • 编写list1()方法

@Test
    public void list1() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://192.168.219.75:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建远程迭代器对象，泛型是位置文件状态类（相当于`hdfs dfs -ls -R /lzy01`）
        RemoteIterator<LocatedFileStatus> ri = fs.listFiles(new Path("/lzy01"), true);
        // 遍历远程迭代器
        while (ri.hasNext()) {
            System.out.println(ri.next());
        }
    }
  •  运行list1()测试方法，查看结果

9.2、显示指定目录下文件路径和长度信息

  • 编写list2()方法

  • 运行list2()测试方法，查看结果

  • 对照Hadoop WebUI上给出的文件长度信息

10、获取文件块信息

  • 实例：获取/lzy01/hadoop-3.3.4.tar.gz文件块信息
  • 在net.hw.hdfs包里创建GetBlockLocations类

  • 运行程序，查看结果（切点位置，块大小，块存在位置）

  •  可以看出来，hadoop-3.3.4.tar.gz被hadoop物理切分成6块，前5块长度均为134217728字节（128MB），第6块长度为24369142字节（23.24MB）

11、创建目录

  • 实例：在HDFS上创建/ied01目录
  • 在net.hw.hdfs包里创建MakeDirOnHDFS类

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;

public class MakeDirOnHDFS {
    public static void main(String[] args) throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://192.168.219.75:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象，指向目录
        Path path = new Path("/ied01");
        // 利用文件系统创建指定目录
        boolean result = fs.mkdirs(path);
        // 判断目录是否创建成功
        if (result) {
            System.out.println("目录[" + path + "]创建成功！" );
        } else {
            System.out.println("目录[" + path + "]创建失败！" );
        }
    }

}
  •  运行程序，查看结果

  • 利用Hadoop WebUI界面查看

12、判断目录或文件是否存在

  • 实例：判断HDFS上/ied01目录是否存在，判断/ied01/hadoop.txt文件是否存在
  • 在net.hw.hdfs包里创建DirFileExistsOrNot类

  • 编写dirExists()方法

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.net.URI;


public class DirFileExistsorNot {
    @Test
    public void dirExists() throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://192.168.219.75:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象，指向目录
        Path path = new Path("/ied01");
        // 判断目录是否存在
        if (fs.exists(path)) {
            System.out.println("目录[" + path + "]存在！");
        } else {
            System.out.println("目录[" + path + "]不存在！");
        }
    }

}
  •  运行程序，查看结果

13、判断Path指向目录还是文件

  • 在net.hw.hdfs包里创建PathToFileOrDir类 

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;

import java.net.URI;

public class PathToFileOrDir {
    public static void main(String[] args) throws Exception {
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义uri字符串
        String uri = "hdfs://192.168.219.75:9000";
        // 创建文件系统对象
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象，指向目录
        Path path1 = new Path("/ied01");
        if (fs.isDirectory(path1)) {
            System.out.println("[" + path1 + "]指向的是目录！");
        } else {
            System.out.println("[" + path1 + "]指向的是文件！");
        }
        // 创建路径对象，指向文件
        Path path2 = new Path("/lzy01/test.txt");
        if (fs.isFile(path2)) {
            System.out.println("[" + path2 + "]指向的是文件！");
        } else {
            System.out.println("[" + path2 + "]指向的是目录！");
        }
    }

}
  • 运行程序，查看结果

14、删除目录或文件 

14.1、删除文件

  • 实例:删除/lzy01/test2.txt文件

  •  在net.hw.hdfs包里创建DeleteFileOrDir类
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.net.URI;
  • 编写deleteFile()方法

@Test
    public void deleteFile1() throws Exception {
        Configuration conf = new Configuration();
        String uri = "hdfs://192.168.219.75:9000";
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        Path path = new Path("/lzy01/hadoop.txt");
        boolean result = fs.delete(path, true);
        if (result) {
            System.out.println("文件[" + path + "]删除成功！");
        } else {
            System.out.println("文件[" + path + "]删除失败！");
        }
    }
  •  运行deleteFile()测试方法，查看结果

  • 利用HDFS集群WebUI界面查看

  • 可以在删除文件之前，判断文件是否存在
  • 编写deleteFile2()方法 

 

//判断文件是否存在，在进行删除
    @Test
    public void deleteFile2() throws Exception {
        Configuration conf = new Configuration();
        String uri = "hdfs://192.168.219.75:9000";
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        Path path = new Path("/lzy01/hadoop.txt");
        if (fs.exists(path)) {
            boolean result = fs.delete(path, true);
            if (result) {
                System.out.println("文件[" + path + "]删除成功！");
            } else {
                System.out.println("文件[" + path + "]删除失败！");
            }
        } else {
            System.out.println("文件[" + path + "]不存在！");
        }
    }
  •  此时运行deleteFile()测试方法，查看结果

14.2、删除目录 

  • 实例：删除/ied01目录
  • 删除/ied01目录

  • 运行deleteDir()方法，查看结果

再运行deleteDir()方法，查看结果

14.3、删除目录或文件

  • 进行三个层面的判断：判断类型（目录或文件）、判断是否存在、判断删除是否成功。
  • 任务：删除/lzy01目录下的test.txt

  •  编写delete()方法

//删除/lzy01目录下的test1.txt 判断类型（目录或文件）、判断是否存在、判断删除是否成功。
    @Test
    public void delete() throws Exception {
        Configuration conf = new Configuration();
        String uri = "hdfs://192.168.219.75:9000";
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        Path path1 = new Path("/lzy01/test.txt");
        String type = "";
        if (fs.isFile(path1)) {
            type = "文件";
        } else {
            type = "目录";
        }
        if (fs.exists(path1)) {
            boolean result = fs.delete(path1, true);
            if (result) {
                System.out.println(type + "[" + path1 + "]删除成功！");
            } else {
                System.out.println(type + "[" + path1 + "]删除失败！");
            }
        } else {
            System.out.println(type + "[" + path1 + "]不存在！");
        }
        Path path2 = new Path("/lzy01");
        if (fs.isFile(path1)) {
            type = "文件";
        } else {
            type = "目录";
        }
        if (fs.exists(path2)) {
            boolean result = fs.delete(path1, true);
            if (result) {
                System.out.println(type + "[" + path2 + "]删除成功！");
            } else {
                System.out.println(type + "[" + path2 + "]删除失败！");
            }
        } else {
            System.out.println(type + "[" + path2 + "]不存在！");
        }
    }
  •  运行delete()测试方法，查看结果

 三、课后复习

  • 课后多去看一下代码，运行代码，了解代码的作用，并单独进行一些文件操作。

Cisyamr
关注
大数据讲课笔记4.4 使用Java API操作HDFS
howard2005的专栏
10-06 3516
1. 了解HDFS Java API； 2. 掌握使用Java API操作HDFS
大数据-使用Java API操作HDFS
m0_62492032的博客
12-07 2283
创建Maven项目 - HDFSDemo在pom.xml文件里添加hadoop和junit依赖 3、创建日志属性文件 在resources目录里创建log4j.properties文件 4、启动集群HDFS服务 在主节点上执行命令：start-dfs.sh在Hadoop WebUI界面查看在HDFS Shell里利用hdfs dfs -touchz命令可以创建时间戳文件创建net.hf.hdfs包，在包里创建CreateFileOnHDFS类 编写create1()方法 运行程序，查看结果利用Hadoop
Hadoop集群配置
m0_73693938的博客
11-09 961
三个数据节点（datanode）——小弟，在master、slave1与slave2虚拟机上。--关闭虚拟内存检测，在虚拟机环境中不做配置会报错-->（2）编辑Hadoop核心配置文件 - core-site.xml。--用来指定hadoop运行时产生文件的存放目录-->（3）编辑HDFS配置文件 - hdfs-site.xml。--配置资源管理器：集群master-->--配置节点管理器上运行的附加服务-->）在master、slave1与slave2虚拟机上。--配置MR资源调度框架YARN-->
Java API 操作HDFS文件
m0_62252825的博客
11-09 4777
使用JavaAPI操作hdfs 文件的常用操作代码
（入门教程）centos-7系统下的Hadoop3.X分布式集群配置部署
HFY2580的博客
05-11 4843
环境准备： Linux系统下的centos-7 我的集群是三个节点，主机名分别为master slave1 slave2 主机名修改 可以用hostnamectl set-hostname hostnamectl set-hostname master hostnamectl set-hostname slvae1 hostnamectl set-hostname slave2 修改之后可以用bash 立即执行 bash 在三个节点分别查询一下IP地址 使用ifconfig命令
使用Java API操作HDFS
ZYF2190003497的博客
11-26 1354
了解HDFS java API
使用java API 操作
m0_63560941的博客
11-28 1466
了解HDFS Java API掌握使用Java API操作HDFS
大数据技术基础实验报告-调用Java API实现HDFS操作.doc
08-21
【大数据技术基础实验报告-调用Java API实现HDFS操作】 本实验主要涵盖了大数据技术的基础，特别是如何在Linux环境下利用Java API对Hadoop分布式文件系统（HDFS）进行操作。实验涉及的主要步骤包括Eclipse的安装、...
大数据1.9使用Java API操作HDFS
weixin_64895348的博客
12-07 1396
使用Java API操作HDFS
大数据 | Java 操作 HDFS 常用 API
uuqaz的博客
05-11 1299
一、回顾常用的命令 在上篇文章中整理了 HDFS 常用的命令，这里进行简单的回顾。 ls 命令用来查看 HDFS 系统中的目录和文件，命令如下： $ hadoop fs -ls / put 命令用来将本地文件上传到 HDFS 系统中，命令如下： $ hadoop fs -put test.txt / moveFromLocal 命令将本地文件移动到 HDFS 文件系统中，并将本地的文件进行删除，命令如下： $ hadoop fs -moveFromLocal abc.txt / get
java API 操作HDFS
05-08
javaAPI操作HDFS，测试可用 window环境需要下载hadoop客户端
大数据学习：使用Java API操作HDFS
X_Serendipity的博客
11-30 2649
创建、读取、写入
最全源码提供，直接Copy拿走，如何使用Java API操作HDFS
专注编程和人工智能！
09-14 1979
前言 由于Hadoop是使用Java语言编写的，因此可以使用Java API操作Hadoop文件系统。 使用HDFS提供的Java API构造一个访问客户端对象，然后通过客户端对象对HDFS上的文件进行操作（增、删、改、查）。 准备工作 Hadoop集群搭建 请参考文章 https://www.bilibili.com/read/cv7591643 hadoop-win-2.7.7 window简化阉割版（up主提供，下载链接请见文末） 步骤 1.在Window系统下，配置hadoop环境，使用Jav
4.4 使用Java API操作HDFS
m0_73693938的博客
12-02 1137
在/ied01目录里确实创建了一个0字节的hadoop.txt文件，有点类似于Hadoop Shell里执行hdfs dfs -touchz /ied01/hadoop.txt命令的效果，但是有一点不同，hdfs dfs -touchz命令重复执行，不会失败，只是不断改变该文件的时间戳。// 删除路径对象指向的目录或文件。System.out.println(type + "[" + path + "]删除成功！System.out.println(type + "[" + path + "]删除失败！
Hadoop学习总结（使用Java API操作HDFS）
2202_75688394的博客
11-10 5294
使用HDFS提供的Java API构造一个访问客户端对象，然后通过客户端对象对HDFS上的文件进行操作（增、删、改、查）。
hdfs Java API 读取数据
m0_72168501的博客
12-05 972
hdfs Java API 读取数据简单操作
使用JavaAPI操作HDFS
yeshenye19992的专栏
01-30 480
使用JavaAPI操作HDFS：
大数据学习案例——使用Java API操作HDFS 获取客户端对象在那
最新发布
06-19
<think>首先，用户的问题是关于使用JavaAPI操作HDFS并获取客户端对象的示例或教程。他们引用了几个站内引用，这些引用似乎来自之前的回答或文档，涉及JavaAPI操作HDFS的具体代码片段。用户的关键点是：“我想查找如何使用JavaAPI操作HDFS并获取客户端对象的示例或教程请问使用JavaAPI操作HDFS获取客户端对象示例代码或学习案例”我需要基于系统级指令来构建回答：-使用中文回答。-结构清晰，逐步解决问题。-保证回答真实可靠。-在行内数学表达式使用$...$，独立公式使用$$...$$，但由于这是一个编程主题，可能数学表达式不多，但如果有的话，要正确处理。-生成相关问题。-在引用的段落末尾添加引用标识。从提供的引用中：-引用[1]：提到在Java项目中创建Configuration和FileSystem对象来操作HDFS。-引用[2]：展示了使用@Test注解测试mkdir操作，涉及FileSystem对象。-引用[3]：给出了一个完整的Java示例代码，用于上传文件到HDFS，包括创建Configuration和FileSystem对象。用户的核心需求是“获取客户端对象”，在Hadoop中，这通常指的是FileSystem对象，它是客户端API的核心。我的回答应该：1.解释如何获取HDFS的客户端对象（即FileSystem对象）。2.提供示例代码。3.参考站内引用，确保真实可靠。4.结构清晰，比如分步骤。5.在末尾生成相关问题。结构：-开头简要介绍。-逐步讲解步骤：a.设置Configuration对象。b.获取FileSystem对象。c.使用对象进行操作。-提供完整代码示例。-添加引用标识。-最后生成相关问题。示例代码基于引用[3]，但需要确保正确性。引用[3]中的代码是：```javaimportorg.apache.hadoop.conf.Configuration;importorg.apache.hadoop.fs.FileSystem;importorg.apache.hadoop.fs.Path;importorg.apache.hadoop.io.IOUtils;importjava.io.BufferedInputStream;importjava.io.FileInputStream;importjava.io.InputStream;importjava.io.OutputStream;publicclassHDFSExample{publicstaticvoidmain(String[]args)throwsException{Configurationconf=newConfiguration();conf.set("fs.defaultFS","hdfs://localhost:9000");FileSystemfs=FileSystem.get(conf);//其他操作...}}```在这个代码中，FileSystem.get(conf)就是获取客户端对象的部分。我需要使回答完整：-解释步骤。-提供代码。-添加引用。生成相关问题：基于主题，如常见操作、错误处理、优化等。确保中文回答。最终回答结构：1.引言：简要说明获取HDFS客户端对象的重要性。2.步骤：-步骤1:创建Configuration对象并设置HDFS地址。-步骤2:使用FileSystem.get(conf)获取FileSystem对象。-步骤3:使用对象进行文件操作（如上传、下载）。3.完整代码示例。4.引用站内内容。5.相关问题。</think>### 如何使用Java API操作HDFS并获取客户端对象 在Hadoop分布式文件系统（HDFS）中，客户端对象通常指`FileSystem`对象，它是Java API的核心接口，用于执行文件操作（如上传、下载、创建目录等）。获取该对象的步骤如下（基于Hadoop 3.x版本）： #### 步骤详解 1. **创建Configuration对象**： 配置HDFS连接参数，包括NameNode地址（例如`hdfs://localhost:9000`）。Configuration对象封装了Hadoop集群的配置信息[^1]。 2. **获取FileSystem客户端对象**： 通过`FileSystem.get(conf)`方法获取客户端实例。此方法基于配置自动连接到HDFS集群，返回一个可操作的FileSystem对象[^2]。 3. **使用客户端对象进行操作**： 调用FileSystem对象的方法执行具体任务，例如： - `mkdirs(Path)` 创建目录 - `copyFromLocalFile()` 上传文件 - `open(Path)` 读取文件 #### 完整示例代码 以下是一个简单的Java程序，展示如何获取FileSystem客户端对象并上传文件到HDFS： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.IOUtils; import java.io.BufferedInputStream; import java.io.FileInputStream; import java.io.InputStream; import java.io.OutputStream; public class HDFSClientExample { public static void main(String[] args) throws Exception { // 步骤1: 创建Configuration对象并设置HDFS地址 Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://localhost:9000"); // 替换为你的NameNode地址 // 步骤2: 获取FileSystem客户端对象 FileSystem fs = FileSystem.get(conf); // 这是核心的客户端实例 // 步骤3: 使用客户端对象上传本地文件到HDFS String localFilePath = "./test.txt"; // 本地文件路径 String hdfsFilePath = "/user/hadoop/test.txt"; // HDFS目标路径 try (InputStream in = new BufferedInputStream(new FileInputStream(localFilePath)); OutputStream out = fs.create(new Path(hdfsFilePath))) { IOUtils.copyBytes(in, out, 4096, true); // 执行文件上传 System.out.println("文件上传成功!"); } fs.close(); // 关闭客户端连接 } } ``` #### 关键说明 - **依赖要求**：需添加Hadoop客户端库（如`hadoop-client`）到项目依赖（Maven或Gradle）。 - **配置细节**： - `fs.defaultFS` 必须匹配你的HDFS集群地址（例如`hdfs://namenode:8020`）。 - 如果集群启用Kerberos认证，需额外配置安全参数[^3]。 - **最佳实践**： - 使用`try-with-resources`确保资源关闭，避免连接泄漏。 - 在生产环境中，通过`FileSystem.get(URI, conf)`指定URI增强灵活性。 参考站内内容：在Hadoop环境搭建完成后，我们可以通过Java API来进行HDFS的操作[^3]。使用注解@Test进行测试，调用的还是Linux中的mkdir，让客户端连接对象进行调用（注意这里客户端连接对象要在类的上方使用private进行定义，方便在下方方法中的调用）[^2]。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值