HDFS的API操作

看见我的小熊没

已于 2022-07-28 21:16:31 修改

阅读量264

点赞数

文章标签： hdfs hadoop 大数据 java

于 2022-07-08 19:23:42 首次发布

本文链接：https://blog.csdn.net/qq_40078490/article/details/125684572

版权

本文介绍了在Java中使用HDFS API进行文件操作的方法，包括利用Configuration类处理配置，以及通过FileSystem类的get方法获取文件系统对象以执行各种操作。

摘要由CSDN通过智能技术生成

在 Java 中操作 HDFS，主要涉及以下 Class：

Configuration：该类的对象封转了客户端或者服务器的配置
FileSystem：该类的对象是一个文件系统对象, 可以用该对象的一些方法来对文件进行操作, 通过
FileSystem 的静态方法 get 获得该对象

package com.abcd.hdfs;

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.LocatedFileStatus;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.fs.RemoteIterator;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

/**
 * hdfs的API操作
 */
public class HdfsClientOpt {
   
    public static void main(String[] args) throws Exception {
   
        HdfsClientOpt hdfsClientOpt = new HdfsClientOpt();
        //hdfsClientOpt.getFileSystem();
        //hdfsClientOpt.listFiles();
        hdfsClientOpt.mkdirs();

    }

    //获取FileSystem对象
    public void getFileSystem() throws IOException {
   
        //1.创建一个Configuration对象
        org.apache.hadoop.conf.Configuration configuration = new org.apache.hadoop.conf.Configuration();

        //2.设置文件系统类型
        configuration.