HDFS分布式文件系统（2）Java API操作HDFS

Kox2021

已于 2022-12-18 14:59:02 修改

阅读量2.4k

点赞数 3

分类专栏：大数据文章标签： java hdfs hadoop

于 2022-12-06 10:30:45 首次发布

本文链接：https://blog.csdn.net/Kox_233/article/details/128081938

版权

这篇博客介绍了如何使用Java API操作HDFS，包括创建Maven项目，添加Hadoop依赖，启动HDFS服务，创建、读取、重命名文件和目录，显示文件列表，获取文件块信息，以及删除文件和目录等操作。

摘要由CSDN通过智能技术生成

文章目录

1. 创建Maven项目

创建Maven项目 - HDFSDemo

2. 添加相关依赖

在pom.xml文件里添加hadoop和junit依赖

<dependencies>             
    <!--hadoop客户端-->                       
    <dependency>                                  
        <groupId>org.apache.hadoop</groupId>      
        <artifactId>hadoop-client</artifactId>    
        <version>3.3.4</version>                  
    </dependency>     
    <!--单元测试框架-->                            
    <dependency>                                  
        <groupId>junit</groupId>                  
        <artifactId>junit</artifactId>            
        <version>4.13.2</version>                 
    </dependency>                                 
</dependencies>

在这里插入图片描述

3. 创建日志属性文件

在resources目录里创建log4j.properties文件

log4j.rootLogger=stdout, logfile
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/hdfs.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

在这里插入图片描述

4. 启动集群HDFS服务

执行命令：start-dfs.sh
在Hadoop WebUI界面查看：

5. 在HDFS上创建文件

创建net.kox.hdfs包，在包里创建CreateFileOnHDFS类
编写create1()方法：

package net.kox.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.net.URI;

public class CreateFileOnHDFS {
   
    @Test
    public void create1() throws Exception {
   
        // 创建配置对象
        Configuration conf = new Configuration();
        // 定义统一资源标识符（uri：uniform resource identifier)
        String uri = "hdfs://192.168.218.141:9000";
        // 创建文件系统对象（基于HDFS的文件系统）
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        // 创建路径对象（指向文件）
        Path path = new Path(uri + "/ied01/hadoop.txt");
        // 基于路径对象创建文件
        boolean result = fs.createNewFile(path);
        // 根据返回值判断文件是否创建成功
        if (result) {
   
            System.out.println("文件[" + path + "]创建成功！");
        } else {
   
            System.out.println("文件[" + path + "]创建失败！");
        }
    }
}

运行程序，查看结果：
利用Hadoop WebUI查看：
再次运行程序，由于hadoop.txt已经存在，此时会提示用户创建失败
由此编写create2()方法，事先判断文件是否存在

    @Test
    public void create2() throws Exception {
   
        // 创建配置对象
        Configuration conf = new Configuration();
        // 定义统一资源标识符（uri：uniform resource identifier)
        String uri = "hdfs://192.168.218.141:9000";
        // 创建文件系统对象（基于HDFS的文件系统）
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        // 创建路径对象
        Path path = new Path(uri + "/ied01/hadoop.txt");
        // 判断路径对象指向的文件是否存在
        if (fs.exists(path)) {
   
            // 提示用户文件已存在
            System.out.println("文件[" + path + "]已经存在！");
        } else {
   
            // 基于路径对象创建文件
            boolean result = fs.createNewFile(path);
            // 根据返回值判断文件是否创建成功
            if (result) {
   
                System.out.println("文件[" + path + "]创建成功！");
            } else {
   
                System.out.println("文件[" + path + "]创建失败！");
            }
        }
    }

运行程序，查看结果：

6. 写入HDFS文件

类似于HDFS Shell里的hdfs dfs -put命令
在net.hw.hdfs包里创建WriteFileOnHDFS类

6.1 将数据直接写入HDFS文件

任务：在/ied01目录里创建hello.txt文件
创建write1()方法：

package net.kox.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FSDataOutputStream;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.net.URI;

public class WriteFileOnHDFS {
   
    @Test
    public void write1() throws Exception {
   
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置节点主机名属性
        conf.set("dfs.client.use.datanode.hostname", "true");
        // 定义统一资源标识符（uri: uniform resource identifier）
        String uri = "hdfs://master:9000";
        // 创建文件系统对象（基于HDFS的文件系统）
        FileSystem fs = FileSystem.get(new URI(uri), conf);
        // 创建路径对象（指向文件）
        Path path = new Path(uri + "/ied01/hello.txt");
        // 创建文件系统数据字节输出流（出水管：数据从程序到文件）
        FSDataOutputStream out = fs.create(path);
        // 通过字节输出流向文件写数据
        out.write("Hello Hadoop World".getBytes());
        // 关闭文件系统数据字节输出流
        out.close();
        // 关闭文件系统对象
        fs.close();
        // 提示用户写文件成功
        System.out.println("文件[" + path + "]写入成功！");
    }
}

运行程序，查看结果：
利用Hadoop WebUI查看hello.txt文件

6.2 将本地文件写入HDFS文件

在项目根目录创建一个文本文件test.txt
创建write2()方法：

@Test
    public void write2() throws Exception {
   
        // 创建配置对象
        Configuration conf = new Configuration();
        // 设置数据节点主机名属性
        conf.set("dfs.client.use.datanode.hostname","true");
        // 定义统一资源标识符
        String uri = "hdfs://master:9000";
        // 创建文件系统对象(基于HDFS的文件系统）
        FileSystem fs = FileSystem.get(new URI(uri), conf, "root");
        // 创建路径对象（指向文件）
        Path path = new Path(uri + "/ied01/exam.txt"