hadoop3.x——API

最新推荐文章于 2024-11-06 11:04:06 发布

wakeup42

最新推荐文章于 2024-11-06 11:04:06 发布

阅读量304

点赞数

分类专栏： hadoop 文章标签： hadoop java hdfs

本文链接：https://blog.csdn.net/wake_up_42/article/details/126699306

版权

hadoop 专栏收录该内容

12 篇文章 0 订阅

订阅专栏

这段代码展示了如何在Hadoop分布式文件系统(HDFS)中使用DFSClient进行操作。首先，通过URI和Configuration实例连接到HDFS集群，然后创建FileSystem对象，接着调用mkdirs方法创建名为'/guizhou/guiyang'的目录，并最终确保资源被正确关闭。

摘要由CSDN通过智能技术生成

客户端常用套路

获取命令
执行操作命令
关闭资源

DFSClient类

package com.jxguo.hdfs;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;

import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;

public class HDFSClient {


    @Test
    public void testmkdir() throws URISyntaxException, IOException ,InterruptedException{
        //连接集群nn地址
        URI uri = new URI("hdfs://hadoop101:8020");
        //创建一个配置文件
        Configuration configuration = new Configuration();
        //获取到了客户端对象
        FileSystem fs = FileSystem.get(uri , configuration, "adming");
        //创建一个文件夹
        fs.mkdirs(new Path("/guizhou/guiyang"));
        //关闭资源
        fs.close();
    }
}