关于HDFS笔记—hdfs java编程之创建目录

最新推荐文章于 2024-05-15 10:39:55 发布
最新推荐文章于 2024-05-15 10:39:55 发布
阅读量2.4k 收藏 7
点赞数
分类专栏： 笔记 文章标签： hadoop 大数据 java hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/A_Little_Fish_/article/details/117665538
版权

用IDEA连接hdfs集群，并且实现创建目录

  • 注意依赖下载：

在开始编程之前，请先确保相关依赖已经下载完成；
且maven界面不报错。（这里使用的是IDEA）

工程关联框架源码

  1. 创建文件夹
    在IDEA中首先创建了一个名字为com.zjyy.hdfs.operate的一个包
    在此包下面创建一个名字为HDFSoperate的类
    （包名类名可以自行修改）
package com.zjyy.hdfs.operate;

import org.apache.hadoop.conf.Configuration
最低0.47元/天 解锁文章
香菜香
关注
  • 0
    点赞
  • 踩
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
java hdfs 新建目录_如何用java在hdfs中创建一个新目录？
weixin_34504277的博客
02-13 947
public static void main(String[] args) throws IOException, URISyntaxException{????????????配置config = new Configuration();config.set("fs.default.name","hdfs://127.0.0.1:50070/dfshealth.jsp");FileSystem...
初学Hadoop——HDFS Java API 的使用、在linux中安装eclipse
qq_45154565的博客
10-20 4639
Hadoop不同的文件系统之间通过调用Java API进行交互，实验一中介绍的Shell命令，本质上也就是Java API的应用。 Hadoop官方的Hadoop API文档，可以访问如下网站，查看各个API的功能：网站链接 一、 Eclipse的安装 利用Java API进行交互，需要利用软件Eclipse编写Java程序。这里我使用的在Ubuntu中安装eclipse。 （1）在Ubuntu的边栏打开软件中心 （2）在软件中心搜索栏输入“ec”，软件中心会自动搜索相关的软件 点击图中的eclips
java操作Hadoop源码之HDFS Java API操作-创建目录
01-17
java操作Hadoop源码之HDFS Java API操作-创建目录，附带所需全部jar包，欢迎下载学习。
大数据入门系列 5：全网最全，Hadoop 实验——熟悉常用的 HDFS 目录操作和文件操作_hdfs目录操作(1)
最新发布
2401_84573042的博客
05-15 299
该命令表示在 HDFS 中创建一个 /user/bailu 的目录。：这里 /user/bailu 就是一个多级目录，因此必须使用参数 -p，否则会出错。
HDFS的基本操作（创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS文件）
weixin_61472217的博客
09-13 2万+
主要涉及HDFS shell操作命令，包括创建目录或文件、查看目录或文件、上传和拷贝文件到HDFS上、追加数据到HDFS上、从HDFS上下载文件到Linux本地、合并HDFS上多个文件并下载、删除HDFS上的文件、查看各种命令的用法等。
HDFS的基础练习--新建目录
qq_58476985的博客
09-13 8094
4.把mydata01上传到HDFS的/data01，把mydata02上传到HDFS的/data02，以此类推，把5份文件都上传到大数据平台的HDFS上。3.在/home/hadoop/software/自己名字命名目录下创建5分有数据的文件(mydata01-mydata05）文件内容自定义。hdfs dfs -get /dt01/data /root/zhang/ （注意中间有空格 ）如：hdfs dfs -mkdir -p /dt03/date05/date06/date07。
在HDFS上创建目录
m0_46144994的博客
01-10 1万+
一、PC环境 windows10 虚拟机环境：VMware Workstation Pro 虚拟机系统： 二、目标 在HDFS创建新的工作路径new，如图 三、实现语句 hadoop fs -mkdir -p /new
hadoop学习——在HDFS中创建文件夹的两种方法
热门推荐
小小海豚呀
04-25 3万+
shell命令创建文件夹 启动hdfs,终端输入：start-dfs.sh 在hdfs中创建一个input文件夹： hadoop fs -mkdir /input/ 使用参数-p创建多级目录： hadoop fs -mkdir -p /input/file HDFS Java API创建 在这里插入代码片 ...
练习HDFS的访问，创建目录，删除目录--超详细
qq_58476985的博客
09-11 1万+
2、进入到sbin目录下输入：start-dfs.sh，重启一下。4、创建的多个目录，在虚拟机上查看：hdfs dfs -ls /之后再输入hdfs dfs -ls /，没有出现拒绝连接即可。hdfs dfs -mkdir /(文件名字）
JAVA操作HDFS案例的简单实现
08-29
JAVA操作HDFS是指使用JAVA语言来操作HDFS文件系统，实现文件的上传、下载、删除、创建目录等基本操作。 2. HDFS的基本操作 HDFS提供了多种基本操作，包括文件上传、下载、删除、创建目录等。这些操作都是通过HDFS...
HDFS判断文件或目录是否存在——Shell命令实现 + Java代码实现
01-20
hdfs dfs -test -e 文件或目录名 第三步，查看检测结果： echo $? 若输出结果为0，则说明文件或目录存在，若为1，则说明文件或目录不存在。 二、Java代码实现 import org.apache.hadoop.conf.Configuration; ...
HDFS Java api 简单程序.zip
01-10
HDFS Java api 简单程序.zip
使用Java Api操作HDFS过程详解
08-25
Java 应用程序接口（API）是 Java 语言提供的一组编程接口，用于访问和操作 Hadoop 分布式文件系统（HDFS）。本文将详细介绍使用 Java API 操作 HDFS 的过程，并提供了一个示例代码，展示如何使用 Java API 读取和...
Java操作HDFS示例
致虚极，守静笃，万物并作，吾以观其复
05-08 147
1. 环境准备 大数据集群一套，没有的可以自己本地搭建一套（参考地址：https://www.jianshu.com/p/2c2ae6490fa0） 本地安装JDK 本地安装IDEA或者Eclipse 2. 创建Maven项目 在IDEA工具中创建一个maven项目，并在pom.xml中添加以下依赖： <dependencies> <dependency> <groupId>junit</groupId> <artifactId&gt
Hadoop集群搭建常用命令、目录及注意
灿若星辰丶的博客
07-17 6527
目录：（1）/usr/local/hadoop/（2）hadoop配置目录：/usr/local/hadoop/etc/hadoop（3）/usr/local/hadoop/sbin（4）share目录在/usr/local/hadoop下（5）将HDFS所有文件副本数调整为2，数据块大小为512MB：在/usr/local/hadoop/etc/hadoop/hdfs-site.xml文件中修改...
在hdfs中创建用户目录_0681-6.2.0-如何在HDFS自动创建用户主目录
weixin_39781550的博客
12-03 1403
文档编写目的本文介绍如何在Hue使在Hue中创建的用户能够在HDFS上自动生成同名的家目录。分为集成OpenLDAP和未集成OpenLDAP来进行测试。测试环境：1.Redhat7.22.采用root用户操作3.CM/CDH6.2.0未集成OpenLDAP验证1.Hue的配置，可以看到当前集群未集成OpenLDAP。2.查看HDFS上/user目录下当前用户[root@cdh01 ~]# hado...
Hadoop创建目录
weixin_44153121的博客
12-26 1万+
1、hadoop命令 安装路径下：hadoop-2.8.5/share/doc/hadoop/hadoop-project-dist/hadoop-common/FileSystemShell.html 比如，创建目录： mkdir Usage: hadoop fs -mkdir [-p] 2、API创建目录 2.1、测试类 package test.myhadoop; import java...
[java&hdfs篇]使用Java创建目录和HDFS的权限(causeBy permissions deny)问题及解决方法
alone554的博客
10-27 1290
一.看一下新建目录/folder111的权限及创建目录的用户. 1.由下图我们知道/folder111的权限是755。而此时的操作用户为其他用户admin。又因为只有当前root用户有写的权限，而同组用户和其他用户都不具备写的权限，所以报错权限被否causeby 2.查看自己电脑当前登录的用户是admin 二.解决方法:有4种解决方法，前三种常用 1.设置一个属性 AW -->root hdfs 你说你是谁，你就是谁，不加验证。 //指定当前hadoop的用户是roo
使用IDEA工具，通过Java API 操作 HDFS （文件/目录的操作，含源码，详细操作步骤）
梁辰兴的博客
12-12 4176
Hadoop文件系统API文档：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/filesystem/index.html Hadoop整合了众多文件系统，HDFS只是这个文件系统的一个实例，下表整合了一些类或接口：FileSystem类API文档：https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/filesystem/
hdfs java API 创建目录实例
05-04
以下是使用HDFS Java API创建目录的示例代码： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class CreateDirectory { public static void main(String[] args) throws Exception { //设置Hadoop的配置信息 Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://localhost:9000"); //创建HDFS文件系统对象 FileSystem fs = FileSystem.get(conf); //创建目录 Path path = new Path("/test"); boolean isCreated = fs.mkdirs(path); if (isCreated) { System.out.println("目录创建成功！"); } else { System.out.println("目录创建失败！"); } //关闭HDFS文件系统对象 fs.close(); } } ``` 在这个示例中，我们首先设置了Hadoop的配置信息，然后创建了HDFS文件系统对象。接着，我们使用`fs.mkdirs()`方法在根目录下创建了一个名为`test`的目录。最后，我们根据`fs.mkdirs()`方法的返回值判断目录是否创建成功，并关闭了HDFS文件系统对象。 你也可以自己定义目录的路径，比如使用一个相对路径。然而，这种方式并不推荐，因为它可能会导致路径无法正确解析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值