Hadoop之hdfs 的api操作

1、获取指定目录下的全部文件及文件夹

    /**
     * 列出 {@param path} 下的文件和文件夹
     *
     * @param fs   文件系统实例
     * @param path 路径
     * @return 返回一个目录列表
     * @throws IOException 对于任何IO错误
     */
    public static List<String> listFileAndDir(FileSystem fs, Path path) throws IOException {
        List<String> list = new ArrayList<>();
        if (fs.exists(path)) {
            FileStatus[] listStatus = fs.listStatus(path);
            for (FileStatus status : listStatus) {
                list.add(status.getPath().toString());
            }
        }
        return list;
    }

2、将本地文件拷贝到HDFS上

    /**
     * 将本地文件拷贝到hdfs上
     *
     * @param fs        文件系统实例
     * @param delSrc    是否删除原文件
     * @param src       原文件路径
     * @param dst       目标文件路径
     * @param overwrite 是否覆盖现有文件
     * @throws IOException 对于任何IO错误
     */
    public static void localCopyHDFS(FileSystem fs, boolean delSrc, boolean overwrite, Path src, Path dst) throws IOException {
        fs.copyFromLocalFile(delSrc, overwrite, src, dst);
    }

3、将HDFS上的文件拷贝到本地

    /**
     * 将HDFS上的文件拷贝到本地
     *
     * @param fs                    文件系统实例
     * @param delSrc                是否删除原文件
     * @param src                   原文件路径
     * @param dst                   目标文件路径
     * @param useRawLocalFileSystem 是否进行文件校验，如果使用本地文件系统也就是设置为true，就不会产生crc校验，否则就会产生crc校验
     * @throws IOException 对于任何IO错误
     */
    public static void hdfsCopyLocal(FileSystem fs, boolean delSrc, Path src, Path dst, boolean useRawLocalFileSystem) throws IOException {
        fs.copyToLocalFile(delSrc, src, dst, useRawLocalFileSystem);
    }

4、对文件或文件夹重命名

    /**
     * 对文件或对文件夹重命名
     *
     * @param fs  文件系统实例
     * @param src 要重命名的路径
     * @param dst 重命名后的新路径
     * @return true 重命名成功；false 重命名失败
     * @throws IOException 对于任何IO错误
     */
    public static boolean rename(FileSystem fs, Path src, Path dst) throws IOException {
        return fs.rename(src, dst);
    }

5、删除文件或文件夹

    /**
     * 删除文件或文件夹
     *
     * @param fs        文件系统实例
     * @param src       要删除的路径
     * @param recursive 如果是目录，设置为true，否则会抛出异常
     * @return true 删除成功；false 删除失败
     * @throws IOException 对于任何IO错误
     */
    public static boolean deleteFile(FileSystem fs, Path src, boolean recursive) throws IOException {
        return fs.delete(src, recursive);
    }

6、判断是文件还是文件夹

    /**
     * 判断是文件还是文件夹
     *
     * @param fs  文件系统实例
     * @param src 目标路径
     * @return true 文件夹；false 文件
     * @throws IOException 对于任何IO错误
     */
    public static boolean isFileOrDir(FileSystem fs, Path src) throws IOException {
        FileStatus[] status = fs.listStatus(src);
        boolean flag = false;
        for (FileStatus fileStatus : status) {
            flag = fileStatus.isDirectory();
        }
        return flag;
    }

7、查看文件详情

    /**
     * 查看文件详情
     *
     * @param fs        文件系统实例
     * @param src       文件路径
     * @param recursive 如果子目录需要递归遍历，设置为true
     * @throws IOException 对于任何IO错误
     */
    public static void fileDetails(FileSystem fs, Path src, boolean recursive) throws IOException {
        RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(src, recursive);
        while (listFiles.hasNext()) {
            LocatedFileStatus status = listFiles.next();
            System.out.println("文件名：" + status.getPath().getName());
            System.out.println("块大小：" + status.getBlockSize());
            System.out.println("文件副本数：" + status.getReplication());
            System.out.println("文件修改时间：" + status.getModificationTime());
            System.out.println("文件所有者：" + status.getOwner());
            System.out.println("文件所属组：" + status.getGroup());
            System.out.println("文件大小：" + status.getLen());

            // 块的位置
            BlockLocation[] locations = status.getBlockLocations();
            for (BlockLocation location : locations) {
                // 块所在的主机 例如：hadoop51
                String[] hosts = location.getHosts();
                for (String host : hosts) {
                    System.out.println(host);
                }

                // 例如：192.168.0.51:9866
                String[] names = location.getNames();
                for (String name : names) {
                    System.out.println(name);
                }

                // 获取块的起始偏移量
                System.out.println(location.getOffset());
                // 获取块的长度
                System.out.println(location.getLength());

                // 获取块的每个副本的storageID。
                // 例如：DS-5357e114-ccb7-46d5-994e-33c047853aa3
                String[] storageIds = location.getStorageIds();
                for (String storageId : storageIds) {
                    System.out.println(storageId);
                }

                // 获取块的每个副本的存储类型。
                // 例如：DISK
                // StorageType是一个枚举类型，还包括：RAM_DISK，SSD，ARCHIVE，PROVIDED
                StorageType[] storageTypes = location.getStorageTypes();
                for (StorageType storageType : storageTypes) {
                    System.out.println(storageType.name());
                }

                // 获取每个主机的网络拓扑路径列表。
                // 例如：/default-rack/192.168.0.51:9866
                String[] topologyPaths = location.getTopologyPaths();
                for (String topologyPath : topologyPaths) {
                    System.out.println(topologyPath);
                }
            }
        }
    }

8、使用IOUtils工具类，将本地文件上传到HDFS

    /**
     * HDFS 文件上传
     *
     * @param fs            文件系统实例
     * @param configuration 配置信息
     * @param src           原文件路径
     * @param dst           目标文件路径
     * @throws IOException 对于任何IO错误
     */
    public static void putFileToHDFS(FileSystem fs, Configuration configuration, File src, Path dst) throws IOException {
        // 创建输入流
        FileInputStream fis = new FileInputStream(src);

        // 获取输出流
        FSDataOutputStream fos = fs.create(dst);

        // 流对拷
        IOUtils.copyBytes(fis, fos, configuration);

        // 关闭资源
        IOUtils.closeStream(fos);
        IOUtils.closeStream(fis);
    }

9、使用IOUtils工具类，将HDFS上的文件下载到本地

    /**
     * HDFS 文件下载
     *
     * @param fs            文件系统实例
     * @param configuration 配置信息
     * @param src           原文件路径
     * @param dst           目标文件路径
     * @throws IOException 对于任何IO错误
     */
    public static void getFileFromHDFS(FileSystem fs, Configuration configuration, Path src, File dst) throws IOException {
        // 获取输入流
        FSDataInputStream fis = fs.open(src);

        // 创建输出流
        FileOutputStream fos = new FileOutputStream(dst);

        // 流对拷
        IOUtils.copyBytes(fis, fos, configuration);

        // 关闭资源
        IOUtils.closeStream(fos);
        IOUtils.closeStream(fis);
    }

10、下载HDFS上指定文件的某一个block

    /**
     * 下载HDFS上指定文件的某一个block
     * 验证需要在cmd命令下使用：type jdk-8u171-windows-x64.zip.part1 >> jdk-8u171-windows-x64.zip.part0, 最后把jdk-8u171-windows-x64.zip.part0重命名为jdk-8u171-windows-x64.zip
     * @param fs 文件系统实例
     * @param src 原文件路径
     * @param block 要下载那一块，从0开始
     * @param dst 目标文件路径
     * @throws IOException IO 异常
     */
    public static void readFileBlock(FileSystem fs, Path src, int block, File dst) throws IOException {
        // 获取输入流
        FSDataInputStream fis = fs.open(src);

        // 指定块的起始位置和长度
        long offset = 0; // 起始位置
        long len = 0; // 长度
        RemoteIterator<LocatedFileStatus> listFiles = fs.listFiles(src, false);
        while (listFiles.hasNext()) {
            LocatedFileStatus status = listFiles.next();
            // 获取文件的块位置
            BlockLocation[] blockLocations = status.getBlockLocations();

            for (int i = 0; i < blockLocations.length; i++) {
                // 指定块
                if (i == block) {
                    // 获取起始位置
                    offset = blockLocations[i].getOffset();
                    // 获取长度
                    len = blockLocations[i].getLength();
                    // 退出循环
                    break;
                }
            }
            // 退出循环
            break;
        }
        // 指定起始位置
        fis.seek(offset);

        // 创建输出流
        FileOutputStream fos = new FileOutputStream(dst);

        // 流对拷
        byte[] buf = new byte[1024]; // 1k
        // 这里的len / 1024 是因为buf定义了1k，相当于len乘以1024，假如len=134217728B=1024*1024*128，再乘以1024，就是len=137438953472B=1024*1024*1024*128=131072MB=128GB，所以要除掉
        for (long i = 0; i < len / 1024; i++) {
            fis.read(buf);
            fos.write(buf);
        }

        // 关闭资源
        IOUtils.closeStream(fos);
        IOUtils.closeStream(fis);
    }

11、在main方法中调用

package com.hondali.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.apache.hadoop.io.IOUtils;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileOutputStream;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;
import java.util.ArrayList;
import java.util.List;

public class HDFSApiOperation {
    public static void main(String[] args) throws URISyntaxException, IOException, InterruptedException {
        // 设置hadoop用户
        System.setProperty("HADOOP_USER_NAME", "hadoop");
        Configuration configuration = new Configuration();
        FileSystem fs = FileSystem.get(new URI("hdfs://hadoop51:9000/"), configuration, "hadoop");
        // 列出/test目录下的文件和文件夹
        List<String> list = listFileAndDir(fs, new Path("/test"));
        for (String ls : list) {
            System.out.println(ls);
        }

        // 拷贝本地文件到hdfs
        localCopyHDFS(fs, false, false, new Path("C:\\Users\\admin\\Desktop\\kaggle.txt"),new Path("/test"));

        // 将hdfs上的文件拷贝到本地
        hdfsCopyLocal(fs, false, new Path("/test/D43_DVT_LIMIT-7-31_20190802.csv"), new Path("C:\\Users\\admin\\Desktop\\D43_DVT_LIMIT-7-31_20190802.csv"),false);

        // 重命名
        System.out.println(rename(fs, new Path("/test1"), new Path("/test")) ? "重命名成功" : "重命名失败");

        // 删除文件
        System.out.println(deleteFile(fs, new Path("/test/kaggle.txt"), false) ? "删除成功" : "删除失败");

        // 判断是文件还是文件夹
        System.out.println(isFileOrDir(fs, new Path("/test")) ? "文件夹" : "文件");

        // hdfs 上传文件
        putFileToHDFS(fs, configuration, new File("C:\\Users\\admin\\Desktop\\jdk-8u171-windows-x64.zip"), new Path("/test/jdk-8u171-windows-x64.zip"));

        // 文件详情
        fileDetails(fs, new Path("/test/jdk-8u171-windows-x64.exe"), false);

        // hdfs 文件下载
        getFileFromHDFS(fs, configuration, new Path("/test/D43_DVT_LIMIT-7-31_20190802.csv"), new File("C:\\Users\\admin\\Desktop\\D43_DVT_LIMIT-7-31_20190802.csv"));

        int block = 5;
        readFileBlock(fs, new Path("/test/jdk-8u171-windows-x64.zip"), block, new File("C:\\Users\\admin\\Desktop\\jdk-8u171-windows-x64.zip.part" + block));
        fs.close();
    }
}