HDFS的常用的JavaAPI操作

1.获取到hdfs文件系统对象

有四种方式可以获取到

package com.legendlee.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileStatus;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.testng.annotations.Test;

import java.io.File;
import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class HdfsOperatorStudy {

    @Test
    public void test(){
        System.out.println("Hello World");
    }

    /**
     * 通过FileSystem获取分布式文件系统的几种方式
     */

    @Test
    public void getFileSystem1() throws IOException {

        Configuration configuration = new Configuration();
        //get方法需要Configuration类型的对象作为参数
        //如果不做设置，访问的是本地的文件系统
        configuration.set("fs.defaultFS","hdfs://192.168.109.100:8020/");
        //获得HDFS文件系统的对象
        FileSystem fileSystem = FileSystem.get(configuration);
        System.out.println(fileSystem.toString());
    }

    /**
     * 获取HDFS的第二种方式，传两个参数
     */
    @Test
    public  void getHdfs() throws URISyntaxException, IOException {
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://192.168.109.100:8020/"), new Configuration());
        System.out.println(fileSystem.toString()

        );
    }

    /**
     * 获取HDFS的第三种方式，通过调用newInstance传入一个参数
     */
    @Test
    public void getHdfs3() throws IOException {
        Configuration configuration = new Configuration();
        configuration.set("fs.defaultFS","hdfs://192.168.109.100:8020");
        FileSystem fileSystem = FileSystem.newInstance(configuration);
        System.out.println(fileSystem);
    }

    /**
     * 第四种方式：newInstance传入两个参数
     */
    @Test
    public void getHdfs4() throws Exception {
        FileSystem fileSystem = FileSystem.newInstance(new URI("hdfs://192.168.109.110:8020/"), new Configuration());
        System.out.println(fileSystem);
    }

2.遍历HDFS所有文件的路径

第一种方式：通过listStatus API获取文件路径

    /**
     * 递归遍历HDFS所有文件的路径
     */
    @Test
    public void getAllHdhsPath() throws Exception {
        //获得fileSystem
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://192.168.109.100:8020/"), new Configuration());
        //指定HDFS的路径
        Path path = new Path("/");
        //获取所有的文件
        FileStatus[] fileStatuses = fileSystem.listStatus(path);
        //如果获取到的是一个文件夹，则继续递归获取到文件
        for (FileStatus fileStatus : fileStatuses) {
            if(fileStatus.isDirectory()){
                getDirectoryFile(fileSystem, fileStatus);
            }else {
                Path path1 = fileStatus.getPath();
                System.out.println(path1.toString());
            }
        }

    }

    private void getDirectoryFile(FileSystem fileSystem, FileStatus fileStatus) throws Exception {
        //获取到fileStatus文件夹的路径
        Path path = fileStatus.getPath();
        //通过路径继续往里面遍历
        FileStatus[] fileStatuses = fileSystem.listStatus(path);
        for (FileStatus status : fileStatuses) {
            if(status.isDirectory()){
                //如果还是文件夹   则递归调用
                getDirectoryFile(fileSystem,status);
            }else {
                System.out.println(status.getPath().toString());
            }
        }
        fileSystem.close();
    }
}

第二种方式，通过listFiles获取文件

    /**
     * 通过listFiles获取文件路径，遍历HDFS上所有文件
     */
    @Test
    public void getHdfsFiles() throws Exception {
        //第一步：获取FileSystem对象
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://192.168.109.100:8020"), new Configuration());
        Path path = new Path("/");
        //listFilesAPI列出所有的文件，返回的是一个迭代器对象
        RemoteIterator<LocatedFileStatus> locatedFileStatusRemoteIterator = fileSystem.listFiles(path,true);
        //遍历迭代器，获取迭代器里面的元素
        while (locatedFileStatusRemoteIterator.hasNext()){
            //获得迭代器里面的每一个元素
            LocatedFileStatus next = locatedFileStatusRemoteIterator.next();
            Path path1 = next.getPath();
            System.out.println(path1.toString());
        }

    }

3.从HDFS上下载文件到本地

第一种方式：通过流的方式。

    /**
     * 下载HDFS文件到本地  IOUtils
     */

    @Test
    public void copyHdfsToLocal() throws Exception {
        //获取到FileSystem对象
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://192.168.109.100:8020"), new Configuration());
        //HDFS上文件的路径
        Path path = new Path("/user/root/aaa/bbb/ccc/legendlee.txt");
        //获取到HDFS的文件资源
        //创建流通道下载文件到本地
        FSDataInputStream inputStream = fileSystem.open(path);
        //输出流
        //本地路径
        FileOutputStream fileOutputStream = new FileOutputStream(new File("D:\\legendlee.txt"));
        IOUtils.copy(inputStream,fileOutputStream);
        IOUtils.closeQuietly(inputStream);
        IOUtils.closeQuietly(fileOutputStream);

    }

第二种方式:copyToLocalFile

4.在HDFS上创建文件夹

   /**
     * 在HDFS上创建文件夹
     */
    @Test
    public void createHdfsDirs() throws Exception {

        //获取fileSystem对象
        FileSystem fileSystem = FileSystem.get(new URI("hdfs://192.168.109.100:8020"), new Configuration());
        fileSystem.mkdirs(new Path("/ss/legendlee"));
        fileSystem.close();
    }