JAVA API操作HDFS

一. 引入POM依赖

<dependency>
    <groupId>org.apache.hadoop</groupId>
    <artifactId>hadoop-client</artifactId>
    <version>3.1.3</version>
</dependency>

二. 编写API

package com.xx;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.junit.Before;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class Main {

    FileSystem fileSystem;

    @Before
    public void init() throws URISyntaxException, IOException, InterruptedException {
        // 连接集群的nn地址
        URI uri = new URI("hdfs://hadoop102:8020");
        // 创建配置
        Configuration configuration = new Configuration();
        // 获取客户端对象
        fileSystem = FileSystem.get(uri, configuration, "root");
    }

    @Test
    public void mkdirs() throws IOException {
        // 创建一个文件夹
        fileSystem.mkdirs(new Path("/hadoop-api"));
        // 关闭资源
        fileSystem.close();
    }

    @Test
    public void upload() throws IOException {
        // 文件上传(是否删除原始文件,是否覆盖目标文件,本地文件地址,hdfs文件目录)
        fileSystem.copyFromLocalFile(false, true, new Path("D:\\Study\\大数据\\hadoop\\笔记\\test.txt"), new Path("/hadoop-api"));
        // 关闭资源
        fileSystem.close();
    }

    @Test
    public void download() throws IOException {
        // 文件下载(是否删除hdfs文件,hdfs文件路径,本地路径)
        fileSystem.copyToLocalFile(false, new Path("/hadoop-api/test.txt"), new Path("D:\\Study\\大数据\\hadoop\\笔记"));
        fileSystem.close();
    }

    @Test
    public void delete() throws IOException {
        // 文件/目录删除(删除路径,是否递归删除)
        fileSystem.delete(new Path("/hadoop-api"), true);
        fileSystem.close();
    }

    @Test
    public void moveFile() throws IOException {
        // 修改文件名称/修改文件路径(原始文件路径,目标文件路径)
        fileSystem.rename(new Path("/hadoop-api/test.txt"), new Path("/hadoop-api/test-change.txt"));
        fileSystem.close();
    }

    @Test
    public void fileDetail() throws IOException {
        // 获取文件详细信息
        RemoteIterator<LocatedFileStatus> listFiles = fileSystem.listFiles(new Path("/"), true);
        while (listFiles.hasNext()) {
            LocatedFileStatus file = listFiles.next();
            System.out.println(file.getPath());
            System.out.println(file.getPath().getName());
            System.out.println(file.getPermission());
            System.out.println(file.getOwner());
            System.out.println(file.getGroup());
            System.out.println(file.getLen());
            System.out.println(file.getModificationTime());
            System.out.println(file.getReplication());
            System.out.println(file.getBlockSize());
            System.out.println("======================");
        }
    }

    @Test
    public void judge() throws IOException {
        // 判断是文件夹还是文件
        FileStatus[] fileStatuses = fileSystem.listStatus(new Path("/"));
        for (FileStatus fileStatus : fileStatuses) {
            if (fileStatus.isFile()) {
                System.out.println("这是一个文件");
            } else {
                System.out.println("这是一个目录");
            }
        }
    }


}