hadoop调用HDFS java api实现在HDFS上创建文件夹

已于 2023-06-29 23:12:08 修改
阅读量2.8k 收藏 3
点赞数 1
文章标签： hadoop java hdfs 分布式
于 2023-06-28 16:25:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/fcx1234/article/details/131437648
版权

目录

一、前期准备

1、Hadoop集群已配置完毕

2、Linux系统安装jdk

3、安装并破解IntelliJ IDEA

二、通过JAVA API操纵HDFS

1.在IDEA中创建项目

 2.在hdfs项目的src->main->java路径下创建一个包，然后在包下创建一个java类实现hdfs的文件操作

 3.java类的代码

4.对JAVA程序传入参数后运行程序

 5.将项目打包成可运行的jar包，并上传到服务器

5.1、IDEA开发hadoop项目打包

1.右击项目名称，选择Open Module Settings

2.选择Artifacts，点击中间绿色的+号，选择JAR,再选择第二个选项

3.点击Main Class右边的小方块选择主类，下一个选项如果要打成一个压缩包选择第一个，如果其他依赖包要分开放也就是最后是多个jar包选择第二个选项。我选第一个，然后点击OK

4.勾选include in project build，点击+和-号添加最后jar包内的其他jar包，主要是将项目依赖的jar包导入，如果一开始配置好了，直接点OK就行。

5.然后点击Build按钮，选择Build Artifacts... 

6.出现以下选择框，第一次使用选择Build，非第一次选Rebuild

7.Build完之后多出了out目录与target目录，接着就可以去本地out目录下找已经完成的jar包

 5.2在CMD.exe验证jar包是否可以运行

5.3修改之前写的myhdfs脚本(我之前的myhdfs脚本是有内容的），脚本内部调用java命令运行能创建文件夹的jar包，从而实现在HDFS上创建文件夹

5.4在服务器上运行jar包

三、可能出现的问题

解决方法：

一、前期准备

1、Hadoop集群已配置完毕

2、Linux系统安装jdk

3、安装并破解IntelliJ IDEA

二、通过JAVA API操纵HDFS

1.在IDEA中创建项目

 2.在hdfs项目的src->main->java路径下创建一个包，然后在包下创建一个java类实现hdfs的文件操作

 3.java类的代码

 在代码中fs.mkdirs(new Path(targetDir));该方法的作用是请求在HDFS上创建指定的文件夹

public static void main(String[] args) throws IOException {
        System.setProperty("HADOOP_USER_NAME","root");
        if(args.length==0){
            System.out.println("ERR!创建文件夹失败！请传入一个路径参数作为将要创建的文件夹");
            return;
        }
        String targetDir=args[0];
        //创建一个配置对象
        Configuration conf = new Configuration() ;
        //2设置fs.defaultFS 属性，目的是创建一个DistributedFileSystem对象
        conf.set("fs.defaultFS","hdfs://192.168.58.3:9000");
        //获取一个FileSystem对象（文件系统对象）
        FileSystem fs=FileSystem.get(conf);
        boolean mkdirs= fs.mkdirs(new Path(targetDir));
        if(mkdirs){
            System.out.println("成功在HDFS上创建"+targetDir);
        }
        fs.close();
    }

4.对JAVA程序传入参数后运行程序

 5.将项目打包成可运行的jar包，并上传到服务器

5.1、IDEA开发hadoop项目打包
1.右击项目名称，选择Open Module Settings

    

2.选择Artifacts，点击中间绿色的+号，选择JAR,再选择第二个选项

3.点击Main Class右边的小方块选择主类，下一个选项如果要打成一个压缩包选择第一个，如果其他依赖包要分开放也就是最后是多个jar包选择第二个选项。我选第一个，然后点击OK

    

4.勾选include in project build，点击+和-号添加最后jar包内的其他jar包，主要是将项目依赖的jar包导入，如果一开始配置好了，直接点OK就行。

    

5.然后点击Build按钮，选择Build Artifacts... 

    

6.出现以下选择框，第一次使用选择Build，非第一次选Rebuild

    

7.Build完之后多出了out目录与target目录，接着就可以去本地out目录下找已经完成的jar包

 5.2在CMD.exe验证jar包是否可以运行

5.3修改之前写的myhdfs脚本(我之前的myhdfs脚本是有内容的），脚本内部调用java命令运行能创建文件夹的jar包，从而实现在HDFS上创建文件夹

5.4在服务器上运行jar包

三、可能出现的问题

在编写java的时候出现以下报错

Exception in thread "main" org.apache.hadoop.security.AccessControlException: Permission denied: user=·봺Ï, access=WRITE, inode="/user/·봺Ï/cc.txt":root:supergroup:drwxr-xr-x
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:319)
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:292)
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:213)
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:190)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1698)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1682)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:1665)
	at org.apache.hadoop.hdfs.server.namenode.FSDirMkdirOp.mkdirs(FSDirMkdirOp.java:71)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:3900)
	at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:978)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:622)
	at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:616)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:969)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2049)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2045)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2043)

	at sun.reflect.NativeConstructorAccessorImpl.newInstance0(Native Method)
	at sun.reflect.NativeConstructorAccessorImpl.newInstance(NativeConstructorAccessorImpl.java:62)
	at sun.reflect.DelegatingConstructorAccessorImpl.newInstance(DelegatingConstructorAccessorImpl.java:45)
	at java.lang.reflect.Constructor.newInstance(Constructor.java:422)
	at org.apache.hadoop.ipc.RemoteException.instantiateException(RemoteException.java:106)
	at org.apache.hadoop.ipc.RemoteException.unwrapRemoteException(RemoteException.java:73)
	at org.apache.hadoop.hdfs.DFSClient.primitiveMkdir(DFSClient.java:3010)
	at org.apache.hadoop.hdfs.DFSClient.mkdirs(DFSClient.java:2978)
	at org.apache.hadoop.hdfs.DistributedFileSystem$21.doCall(DistributedFileSystem.java:1047)
	at org.apache.hadoop.hdfs.DistributedFileSystem$21.doCall(DistributedFileSystem.java:1043)
	at org.apache.hadoop.fs.FileSystemLinkResolver.resolve(FileSystemLinkResolver.java:81)
	at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirsInternal(DistributedFileSystem.java:1043)
	at org.apache.hadoop.hdfs.DistributedFileSystem.mkdirs(DistributedFileSystem.java:1036)
	at org.apache.hadoop.fs.FileSystem.mkdirs(FileSystem.java:1877)
	at lzzy.Mkdir.main(Mkdir.java:23)
Caused by: org.apache.hadoop.ipc.RemoteException(org.apache.hadoop.security.AccessControlException): Permission denied: user=·봺Ï, access=WRITE, inode="/user/·봺Ï/cc.txt":root:supergroup:drwxr-xr-x
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:319)
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.check(FSPermissionChecker.java:292)
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:213)
	at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.checkPermission(FSPermissionChecker.java:190)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1698)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkPermission(FSDirectory.java:1682)
	at org.apache.hadoop.hdfs.server.namenode.FSDirectory.checkAncestorAccess(FSDirectory.java:1665)
	at org.apache.hadoop.hdfs.server.namenode.FSDirMkdirOp.mkdirs(FSDirMkdirOp.java:71)
	at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.mkdirs(FSNamesystem.java:3900)
	at org.apache.hadoop.hdfs.server.namenode.NameNodeRpcServer.mkdirs(NameNodeRpcServer.java:978)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.mkdirs(ClientNamenodeProtocolServerSideTranslatorPB.java:622)
	at org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Server$ProtoBufRpcInvoker.call(ProtobufRpcEngine.java:616)
	at org.apache.hadoop.ipc.RPC$Server.call(RPC.java:969)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2049)
	at org.apache.hadoop.ipc.Server$Handler$1.run(Server.java:2045)
	at java.security.AccessController.doPrivileged(Native Method)
	at javax.security.auth.Subject.doAs(Subject.java:422)
	at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657)
	at org.apache.hadoop.ipc.Server$Handler.run(Server.java:2043)

	at org.apache.hadoop.ipc.Client.call(Client.java:1476)
	at org.apache.hadoop.ipc.Client.call(Client.java:1407)
	at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:229)
	at com.sun.proxy.$Proxy7.mkdirs(Unknown Source)
	at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.mkdirs(ClientNamenodeProtocolTranslatorPB.java:558)
	at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
	at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
	at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
	at java.lang.reflect.Method.invoke(Method.java:497)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:187)
	at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
	at com.sun.proxy.$Proxy8.mkdirs(Unknown Source)
	at org.apache.hadoop.hdfs.DFSClient.primitiveMkdir(DFSClient.java:3008)
	... 8 more

Process finished with exit code 1

百度了一下这个问题说是权限问题，操作hdfs的用户不是集群上规定的用户，而且不存在 supergroup组内

解决方法：

我是在代码里添加

System.setProperty(“HADOOP_USER_NAME”,“root”)

db-xx-2064
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
怎样在hdfs上创建多级目录文件夹_【Hadoop】如何在hdfs根目录下创建文件夹
weixin_34315803的博客
01-15 1万+
shell命令创建文件夹启动hdfs,终端输入：start-dfs.sh在hdfs中创建一个input文件夹：hadoopfs-mkdir/input/1使用参数-p创建多级目录：hadoopfs-mkdir-p/input/file1HDFS Java API创建publicclassCreatDir{publicstaticvoidmain(String[]args...
Python API 操作Hadoop hdfs详解
09-16
主要介绍了Python API 操作Hadoop hdfs详解，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
大数据 | Java 操作 HDFS 常用 API
码农UP2U
11-25 2236
目录 一、回顾常用的命令 二、引入依赖 三、文件列表 四、创建目录 五、文件的创建 六、文件内容的输出 七、删除文件 八、读取文件/目录的元数据 九、上传本地文件到 HDFS 十、下载 HDFS 文件到本地 十一、总结 上篇文章介绍了关于 HDFS 的常用命令，其常用的命令都有相应的 API，用命令可以完成的功能，使用 Java API 也可以完成。本文介绍关于 HDFS 常用的 Java API。 一、回顾常用的命令 在上篇文章中整...
Hadoop——HDFS文件系统的Java API操作（上传、下载、查看、删除、创建文件）详细教学
热门推荐
小袁同学的博客
11-21 2万+
如果还没有配置好Hadoop的可以点击链接查看如何配置 各大技术基础教学、实战开发教学（正在持续更新中······） 首先，启动Hadoop集群服务 然后在浏览器访问Hadoop，点击Browse the file system 查看HDFS文件系统的目录 可以看到目前HDFS文件系统的目录是空的，没有任何的文件和文件夹，下面开始今天的API操作 一、创建Maven项目 首先，打开IDEA，点击新建项目，在左侧中选择Maven，然后直接点击next 设置项目名称，点...
hadoop用HDFS java api在HDFS上创建文件
lvxingzhongderen的博客
06-28 801
我的分享就到这里啦，希望能帮到你，我分享的只是最基础的知识，希望我们以后能学的越来越多的知识。
HDFS-API文件上传、创建、删除、重命名
03-05
通过调用hdfs的api，进行文件上传、创建、删除、重命名等操作的代码
hadoop-2.6.0-bin-master-PC端远程调用HDFS
11-21
hadoop-2.6.0-bin-master.zip PC端远程调用HDFS所需工具包,完美解决can not find winutils.exe!只需将文件解压并配置成环境变量即可!亲测有效
java操作Hadoop源码之HDFS Java API操作-创建目录
01-17
java操作Hadoop源码之HDFS Java API操作-创建目录，附带所需全部jar包，欢迎下载学习。
HDFS文件创建与写入
weixin_51551506的博客
11-02 1万+
此时，将本地的log文件内容，追加到了刚才创建的HDFS文件中，运行下面的命令，查看追加后的文件内容。运行后，已经将HDFS上的test.txt和hello.txt文件文件进行了合并，并且下载在本地。运行后显示如下，在/home/dolphin/Desktop/logs目录下有一个log文件。运行后显示如下，此时在HDFS的根目录下创建了log1和log2两个文件夹。运行后显示如下，可见此时根目录下已存在hello.txt文件。运行后显示如下，可见之前两个HDFS文件的内容都在这个文件中。
【HDFS】HDFS 的常用命令
书山有路，学海无涯。记录成长，追逐梦想
09-20 5725
操作命令是以 hdfs dfs 开头的命令。通过这些命令，用户可以完成 HDFS 文件的复制、删除和查找等操作，Shell 命令的一般格式如下。
HDFS API编程：第一个应用程序的开发：创建一个目录
糯米君的博客
01-09 1381
第一个应用程序的开发：创建一个hdfs目录
Java访问Hadoop分布式文件系统HDFS的配置说明
09-02
Hadoop的能提供高吞吐量的数据访问,是集群式服务器的上的数据操作利器,这里就来为大家分享Java访问Hadoop分布式文件系统HDFS的配置说明:
hdfs-shell：HDFS Shell是一种HDFS操作工具，可与Hadoop DFS中集成的功能一起使用
02-05
HDFS Shell UI（CLI工具） HDFS Shell是可与一起使用的HDFS操作工具 目的 有3种可能的用例： 运行用户交互式UI Shell，按用户插入命令 使用特定的HDFS命令启动Shell 在守护程序模式下运行-使用UNIX域套接字进行通信 为什么要这样的UI Shell？ 相对于直接调用hdfs dfs函数的优势UI： HDFS DFS为每个命令调用启动JVM，HDFS Shell仅执行一次-这意味着当您需要更频繁地使用HDFS时可以大大提高速度 命令可以以简短的方式使用-例如。 hdfs dfs -ls / ， ls / -都可以 使用TAB键完成HDFS路径 您
Hadoop Java接口+RPC代码实现
03-04
1.java接口操作Hadoop文件系统(文件上传下载删除创建...可举一反三) 2.RPC远程过程调用的java代码实现，便于理解Hadoop的RPC协议，具体使用方法可参考我的博客https://blog.csdn.net/qq_34233510/article/details/88142507
hadoop入门java代码hdfs文件操作 wordCount源码
01-27
hadoop入门级的代码 Java编写 eclipse可运行 包含 hdfs的文件操作 rpc远程调用的简单示例 map-reduce的几个例子：wordcount 学生平均成绩 手机流量统计
HTTP方式在线访问Hadoop HDFS上的文件解决方案
Alex的博客
04-28 934
为了通过HTTP方式在线访问HDFS上的文件，您可以利用WebHDFS REST API或者HttpFS Gateway这两种机制实现。 1：httpfs是cloudera公司提供的一个hadoop hdfs的一个http接口，通过WebHDFS REST API 可以对hdfs进行读写等访问2：与WebHDFS的区别是不需要客户端可以访问hadoop集群的每一个节点，通过httpfs可以访问放置在防火墙后面的hadoop集群3：httpfs是一个Web应用,部署在内嵌的tomcat中。
hadoop学习---基于hive的航空公司客户价值的LRFCM模型案例
最新发布
weixin_46164667的博客
05-01 774
在客户分类中，RFM模型是一个经典的分类模型，模型利用通用交易环节中最核心的三个维度——最近消费(Recency)、消费频率(Frequency)、消费金额(Monetary)细分客户群体，从而分析不同群体的客户价值。在某些商业形态中，客户与企业产生连接的核心指标会因产品特性而改变。如互联网产品中，以上三项指标可以相应地变为下图中的三项：最近一次登录、登录频率、在线时长。
hadoop的相关操作
码不停歇的博客
04-28 1006
Hadoop生态圈:是更广泛的概念,包含hadoop,sqoop,flume,zookeeper,hive,spark,hbase,oozie等构成的大数据处理相关一系统组件。1.NameNode:存储文件的元数据,如文件名,文件目录结构,文件属性(生成时间,副本数,文件权限等),及每个文件的块列表和块所在的DataNode等。Common(辅助工具):支持其他模块的工具(Configuration,RPC,序列化机制,日志操作等)HDFS(数据存储):一个高可靠,高吞吐量的分布式文件系统。
hadoop学习---基于hive的聊天数据分析报表可视化案例
weixin_46164667的博客
04-30 687
聊天平台每天都会有大量的用户在线，会出现大量的聊天数据，通过对。
使用 java api 在 hdfs 上创建目录
06-28
### 回答1： 可以使用以下代码在 HDFS 上创建目录： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class CreateDirectory { public static void main(String[] args) throws Exception { Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path path = new Path("/test"); boolean success = fs.mkdirs(path); if (success) { System.out.println("Directory created"); } else { System.out.println("Failed to create directory"); } fs.close(); } } ``` 其中，`Configuration` 是 Hadoop 的配置类，`FileSystem` 是 Hadoop 的文件系统类，`Path` 是 Hadoop 的路径类。`fs.mkdirs(path)` 方法用于创建目录，返回值为 `true` 表示创建成功，返回值为 `false` 表示创建失败。最后需要调用 `fs.close()` 方法关闭文件系统。 ### 回答2： Hadoop Distributed File System（HDFS）是一个分布式文件系统，用于在大型集群中存储和管理数据。在HDFS上创建目录，可以使用Java API来实现。在这篇文章中，我们将探讨如何使用Java API在HDFS上创建目录。 首先，确保你已经安装了Java运行环境和Hadoop分布式环境，并可以启动一个HDFS。启动Hadoop检查守护进程: ``` $ start-dfs.sh ``` 接下来，我们将创建一个Java类，命名为HdfsCreateDir，并添加以下代码： ``` import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import java.net.URI; public class HdfsCreateDir { public static void main(String[] args) throws Exception { //指定namenode String uri = "hdfs://localhost:9000/"; //获取Configuration对象 Configuration conf = new Configuration(); //获取FileSystem对象 FileSystem fs = FileSystem.get(URI.create(uri), conf); //创建一个路径 Path dir = new Path("/testDir"); //使用 mkdirs 在hdfs上创建一个新的目录 fs.mkdirs(dir); //关闭文件系统对象 fs.close(); } } ``` 代码解释： 我们首先指定namenode的URI（Universal Resource Identifier），这里我们使用localhost:9000。 然后获取Configuration对象，并使用这个对象来获取FileSystem对象。 接着创建一个路径对象dir，路径为“/testDir”。 最后，我们使用mkdirs方法在HDFS上创建一个新的目录。如果目录已经存在，这个方法将返回false，否则它将返回true。最后我们要记得关闭文件系统对象。 最后，使用javac编译这个类，然后使用java运行这个程序： ``` $ javac HdfsCreateDir.java $ java HdfsCreateDir ``` 当程序运行时，Hadoop将在HDFS上创建一个名为“/testDir”的新目录。你可以使用hadoop fs -ls命令检查目录是否已创建： ``` $ hadoop fs -ls / Found 1 items drwxr-xr-x - root supergroup 0 2021-06-24 09:24 /testDir ``` 以上就是使用Java API在HDFS上创建目录的方法。这个过程简单易行，只需要几行代码即可。需要注意的是，在创建路径对象时，应该指定完整的路径名（包括根目录“/”）。另外，我们使用的是fs.mkdirs()方法，因为这个方法可以在遇到不存在的目录时自动创建它们。 ### 回答3： HDFS（Hadoop Distributed File System）是分布式存储和处理大量数据的开源框架，它支持大规模数据存储和高吞吐量的数据访问，因此广泛应用于大规模数据处理和分析领域。 在HDFS上创建目录可以使用Java API实现，具体步骤如下： 1. 加载Hadoop的配置文件 在Java程序中操作HDFS，需要引入Hadoop的jar包，并加载相关配置文件，将Hadoop配置文件加载到程序中，以便程序能够连接HDFS。 ``` Configuration conf = new Configuration(); conf.addResource(new Path("core-site.xml")); conf.addResource(new Path("hdfs-site.xml")); ``` 2. 获取HDFS文件系统对象 要操作HDFS的文件或目录，需要获取HDFS文件系统对象，在Java中可以使用FileSystem类的get方法获取HDFS文件系统对象。 ``` FileSystem fs = FileSystem.get(conf); ``` 3. 创建目录 要在HDFS上创建目录，可以使用FileSystem类的mkdirs方法。mkdirs方法会递归创建目录，如果目录已经存在则不进行任何操作。 ``` Path dir = new Path("/test"); // 要创建的目录路径 boolean success = fs.mkdirs(dir); // 在HDFS上创建目录 ``` 4. 关闭HDFS文件系统对象 在操作完成后，需要关闭HDFS文件系统对象，释放资源。 ``` fs.close(); ``` 至此，使用Java API在HDFS上创建目录的步骤已经完成。完整的代码示例如下： ``` Configuration conf = new Configuration(); conf.addResource(new Path("core-site.xml")); conf.addResource(new Path("hdfs-site.xml")); FileSystem fs = FileSystem.get(conf); Path dir = new Path("/test"); boolean success = fs.mkdirs(dir); fs.close(); ``` 注：以上代码中，"core-site.xml"和"hdfs-site.xml"是Hadoop的配置文件，需要根据实际情况进行配置。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值