HDFS利用JavaAPI进行文件读写

最新推荐文章于 2024-07-25 16:52:43 发布

人间怪物

最新推荐文章于 2024-07-25 16:52:43 发布

阅读量2.3k

点赞数

文章标签： hdfs文件读写操作

本文链接：https://blog.csdn.net/qq_41975699/article/details/84931394

版权

本文介绍了如何在CDH版Hadoop中利用JavaAPI进行HDFS文件系统的读写操作，包括获取FileSystem的四种方法及递归遍历HDFS文件路径的两种方式，同时涵盖了从HDFS上传文件到本地以及创建HDFS文件夹和小文件合并等实用技巧。

摘要由CSDN通过智能技术生成

cdh版Hadoop的jar包导入地址:

https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh5_maven_repo.html

https://www.cloudera.com/documentation/enterprise/release-notes/topics/cdh_vd_cdh5_maven_repo_514x.html

获取分布式文件系统

第一种方式：调用FileSystem的get（Configuration configuration）方法

  @Test
  public  void getFileSystem1() throws IOException {
      Configuration configuration = new Configuration();
        //覆盖hdfs配置，得到分布式文件系统
       configuration.set("fs.default","hdfs://node01:8020/");
       FileSystem fileSystem = FileSystem.get(configuration);
       System.out.println(fileSystem);