HDFS Java API

1.上传文件到HDFS

通过"FileSystem.copyFromLocalFile（String src，String dst）"可将本地文件上传到HDFS的制定位置上，其中src和dst均为文件的完整路径。具体事例如下：

public static void uploadFile(String src,String dst) throws IOException{
      Configuration conf = new Configuration();
      FileSystem fs = FileSystem.get(conf);
      Path srcPath = new Path(src); //原路径
      Path dstPath = new Path(dst); //目标路径
      //调用文件系统的文件复制函数,前面参数是指是否删除原文件，true为删除，默认为false
      fs.copyFromLocalFile(false,srcPath, dstPath);

      //打印文件路径
      System.out.println("Upload to "+conf.get("fs.default.name"));
      System.out.println("------------list files------------"+"\n");
      FileStatus [] fileStatus = fs.listStatus(dstPath);
      for (FileStatus file : fileStatus) 
      {
          System.out.println(file.getPath());
      }
      fs.close();
  }

2.创建HDFS文件

通过"FileSystem.create（，String dst）"可创建指定HDFS文件，其中dst为文件的完整路径。具体事例如下：

public static void createFile(String dst , byte[] contents) throws IOException{
      Configuration conf = new Configuration();
      FileSystem fs = FileSystem.get(conf);
      Path dstPath = new Path(dst); //目标路径
      //打开一个输出流
      FSDataOutputStream outputStream = fs.create(dstPath);
      outputStream.write(contents);
      outputStream.close();
      fs.close();
      System.out.println("文件创建成功！");
  }

3.查看HDFS文件的最后修改时间

通过"FileSystem.getModificationTime()"可查看指定HDFS文件的修改时间。具体实现如下：

public class GetLTime {

    public static void getLTime () throws Exception {
        Configuration conf=new Configuration();
        FileSystem hdfs=FileSystem.get(conf);

        Path fpath =new Path("/user/hadoop/test/file1.txt");

        FileStatus fileStatus=hdfs.getFileStatus(fpath);
        long modiTime=fileStatus.getModificationTime();

        System.out.println("file1.txt的修改时间是"+modiTime);
    }
}

4.删除HDFS文件

通过"FileSystem.deleteOnExit(String filePath)"可重命名指定的HDFS文件。filePath为hdfs文件的完整路径。具体实现如下：

public static void delete(String filePath) throws IOException{
     Configuration conf = new Configuration();
      FileSystem fs = FileSystem.get(conf);
      Path path = new Path(filePath);
      boolean isok = fs.deleteOnExit(path);
      if(isok){
          System.out.println("delete ok!");
      }else{
          System.out.println("delete failure");
      }
      fs.close();
  }

5.HDFS文件重命名

通过"FileSystem.rename(String oldName,String newName)"可重命名指定的HDFS文件。oldName和newName都为hdfs文件的完整路径。具体实现如下：

public static void rename(String oldName,String newName) throws IOException{
      Configuration conf = new Configuration();
      FileSystem fs = FileSystem.get(conf);
      Path oldPath = new Path(oldName);
      Path newPath = new Path(newName);
      boolean isok = fs.rename(oldPath, newPath);
      if(isok){
          System.out.println("rename ok!");
      }else{
          System.out.println("rename failure");
      }
      fs.close();
  }

6.创建HDFS目录

   通过"FileSystem.mkdirs(String path)"可创建指定的HDFS目录。path为hdfs目录的完整路径。具体实现如下：

   public static void mkdir(String path) throws IOException{
      Configuration conf = new Configuration();
      FileSystem fs = FileSystem.get(conf);
      Path srcPath = new Path(path);
      boolean isok = fs.mkdirs(srcPath);
      if(isok){
          System.out.println("create dir ok!");
      }else{
          System.out.println("create dir failure");
      }
      fs.close();
  }

7.读取HDFS文件的内容

 通过"FileSystem.open(String path)"可读取指定的HDFS文件。path为hdfs文件的完整路径。具体实现如下：

 public static void readFile(String filePath) throws IOException{
      Configuration conf = new Configuration();
      FileSystem fs = FileSystem.get(conf);
      Path srcPath = new Path(filePath);
      InputStream in = null;
      try {
          in = fs.open(srcPath);
          IOUtils.copyBytes(in, System.out, 4096, false); //复制到标准输出流
     } finally {
         IOUtils.closeStream(in);
     }
 }

8.根据filter获取HDFS目录下的文件

 通过"FileSystem.listStatus(String path,PathFilter pathFilter)"可读取指定的HDFS文件。path为hdfs目录的完整路径。具体实现如下：

public static String[] ListFile(String path,PathFilter pathFilter) {
    String[] files = new String[0];

    try {
        // 返回FileSystem对象
        FileSystem fs = getFileSystem();

        String hdfsUri = HDFSUri;
        if(StringUtils.isNotBlank(hdfsUri)){
            path = hdfsUri + path;
        }

        FileStatus[] status;
        if(pathFilter != null){
            // 根据filter列出目录内容
            status = fs.listStatus(new Path(path),pathFilter);
        }else{
            // 列出目录内容
            status = fs.listStatus(new Path(path));
        }

        // 获取目录下的所有文件路径
        Path[] listedPaths = FileUtil.stat2Paths(status);
        // 转换String[]
        if (listedPaths != null && listedPaths.length > 0){
            files = new String[listedPaths.length];
            for (int i = 0; i < files.length; i++){
                files[i] = listedPaths[i].toString();
            }
        }
        // 释放资源
        fs.close();
    } catch (IllegalArgumentException | IOException e) {
        logger.error("", e);
    }

    return files;
}

9.从 HDFS 下载文件

通过"FileSystem.copyToLocalFile(String srcFile,String destPath)"可读取指定的HDFS文件。srcFile为hdfs文件的完整路径，destPath为下载目标路径。具体实现如下：

public static void getFile(String srcFile,String destPath) {
    // 源文件路径
    String hdfsUri = HDFSUri;
    if(StringUtils.isNotBlank(hdfsUri)){
        srcFile = hdfsUri + srcFile;
    }
    Path srcPath = new Path(srcFile);

    // 目的路径是Linux下的路径，如果在 windows 下测试，需要改写为Windows下的路径，比如D://hadoop/djt/
    Path dstPath = new Path(destPath);

    try {
        // 获取FileSystem对象
        FileSystem fs = getFileSystem();
        // 下载hdfs上的文件
        fs.copyToLocalFile(srcPath, dstPath);
        // 释放资源
        fs.close();
    } catch (IOException e) {
        logger.error("", e);
    }
}

10.判断目录是否存在

通过"FileSystem.exists(String srcFile)"可读取指定的HDFS文件。srcFile为hdfs目录的完整路径。具体实现如下：

public boolean existDir(String filePath, boolean create){
    boolean flag = false;

    if (StringUtils.isEmpty(filePath)){
        return flag;
    }

    try{
        Path path = new Path(filePath);
        // FileSystem对象
        FileSystem fs = getFileSystem();

        if (create){
            if (!fs.exists(path)){
                fs.mkdirs(path);
            }
        }

        if (fs.isDirectory(path)){
            flag = true;
        }
    }catch (Exception e){
        logger.error("", e);
    }

    return flag;
}