eclipse代码操作hdfs创建目录 API

最新推荐文章于 2022-10-15 10:36:33 发布
最新推荐文章于 2022-10-15 10:36:33 发布
阅读量1.1k 收藏 8
点赞数 8
分类专栏： 大数据 文章标签： hdfs 大数据 eclipse api
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jjjjjjabnannnan/article/details/109680424
版权

当我们用eclipse能够连接上hdfs后，总感觉操作不过瘾，我们可以使用代码操作hdfs。

一，准备！

下面为eclipse所需要的jar包

链接：https://pan.baidu.com/s/1l93-A6iWZJU8osUbMEfx8A 提取码：data

二 ， 开干！

1，创建用户自定义的libraries包名字为hadoop-jars
在这里插入图片描述2 给hadoop-jars中添加jar包
选中lib中的120+个jar包
在这里插入图片描述
3 新建java项目为TestHaoop，右键buildpath
在这里插入图片描述
在项目中添加刚才自定义的libs
在这里插入图片描述
4 复制core-site，hdfs-site到src目录中
切记core-site和hdfs-site都是从远程的namenode中复制出来的，如果以上的配置文件中有用到机器名，那么需要更改windows的c盘的windows\system32\drivers\etc\hosts文件，在文件中添加机器名称和IP地址的对应关系
在这里插入图片描述

在这里插入图片描述
5 在src中创建有main方法的类并写下面的代码，切记URI为java.net.URI中的包，其他都是hadoop中的包
但是该过程中没有用到URI的操作
在这里插入图片描述

BigBrother@@U
关注
  • 8
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
8、HDFS 的 Java API 操作--eclipse新建/上传/下载/删除文件(夹)、(属性及块)信息查询、遍历文件(夹)信息查询、指定下载/分块下载
Jalen big data analysis的博客
10-28 550
1、新建/上传/下载/删除文件(夹) package test; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException; import java.net.URI; import org....
java操作Hadoop源码之HDFS Java API操作-创建目录
01-17
java操作Hadoop源码之HDFS Java API操作-创建目录，附带所需全部jar包，欢迎下载学习。
学习篇-Hadoop-HDFS-API-mkdir创建目录文件
东东爱编码博客
04-26 3843
文章目录一、HDFS-API-mkdir创建目录文件 一、HDFS-API-mkdir创建目录文件 使用HDFS API的方式来操作HDFS文件系统 创建maven骨架项目工程 在pom.xml文件中添加依赖 # properties节点中添加版本控制 <!--定义Hadoop版本--> <hadoop.version>2.6.0-cdh5.15.1</hadoo...
hadoop-hdfs的API操作：创建文件夹
m0_51395061的博客
10-16 605
package com.zgml.hdfs; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.junit.Test; public
大数据-hdfs-使用java API在HDFS创建目录-方法步骤
橙汁糖的博客
11-09 3048
1.实例化configuration Configuration configuration = new Configuration(); 2.实例化文件系统FileSystem FileSystem fileSystem = FileSystem.get(new URI(“hdfs://主节点IP:8082”),configuration); 3.使用文件系统对象调用mkdir（相应的API操作...
Eclipse下创建hadoop项目-----创建HDFS文件和上传资源至HDFS
叶小刀
05-25 5654
打开Eclipse，新建java project，将相关的hadoop包导入lib，具体方法见：https://blog.csdn.net/qq_25948717/article/details/80428129选中lib下的所有jar包，右键，Add to Build Path,即可把所有jar包添加到path环境中，Reference中可以看到。创建com.hdfs包，新建mkdirHdfsF...
使用Java Api操作HDFS过程详解
08-25
主要介绍了使用Java Api操作HDFS过程详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
7-Eclipse上的HDFS操作1
08-08
7.3在 Eclipse 中操作 HDFS 中的文件配置好后，点击左侧 Project Explorer 中的Hadoop-2.5.2（点击三角形展开）就能直接
HDFS操作流程+代码操作HDFS
01-07
读流程 客户端发起RPC请求访问NameNode namenode会查询元数据，找到这个文件的存储位置对应的数据块信息 namenode将文件对应的数据块的节点地址全部或者部分放入一个队列中然后返回 client收到这个数据块对应的节点...
elcipse java hadoop操作hdfs的api
09-29
自己整理的hadoop的java-api。各个API写得比较简单，比较细，适合初学者参考。PS:集群请自行搭建
Java API 读写 hdfs分布式文件系统 （创建目录、读文件、写文件）
BeautifulGrils的博客
04-03 8724
                         Java API 读写 hdfs 操作一、概述    操作hdfs分布式文件系统的类为FileSystem对象    1、创建文件夹（递归创建）：fs. mkdirs()    2、写文件  ： fs.create（new Path()），返回FSDataOutputStream对象    3、读文件  ： fs.open(new Path()) ...
HDFS的API操作创建文件夹
TGYAO的博客
10-15 1272
使用hdfs的api操作创建一个文件夹
在Eclipse中使用Java API操作HDFS
DonviYang的博客
10-15 2565
环境配置 1.下载Hadoop压缩包解压到D盘根目录下，参考如下 https://pan.baidu.com/s/13312--jSuaUPWW-I6GWAJQ 2.添加环境变量 变量名：HADOOP_HOME 变量值：D:\hadoop\hadoop-common-2.2.0-bin-master 3.添加环境变量 变量名：HADOOP_USER_NAME 变量值：root 4.在path后加上...
HDFS的API操作(文件上传 下载 删除 名更改 详情查看 文件夹的判断 )
Knight
03-21 482
1.首先在eclipse创建 注意获取fs对象要设置一下，这个获取fs对象是简便写法(标准的写法在另外一篇博客HDFS环境客户端的环境和测试) 一般都设置成root package com.client; import java.io.IOException; import java.net.URI; import java.net.URISyntaxException; import ...
hadoop入门【4】在eclipse中查看HDFS
万和IT教育
06-04 425
在上面的例子中，我们通过java代码对hdfs进行了操作，操作结果我们可以用代码继续查看或者通过命令行获得，但不论哪一种都不够直观，eclipse提供了一种直接连接HDFS 并展示的插件。我们将展示如何使用此插件。 1 系统、软件以及前提约束 在CentOS7中安装hadoophttps://www.jianshu.com/p/b7ae3b51e559 eclipse Oxygen.3 (4...
HDFS API 操作之目录创建、文件上传、配置优先级
热门推荐
小杨的技术博客
04-01 2万+
目录创建 @Test public void testMkdir() throws Exception { //1 获取文件系统 Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(new URI("hdfs://hadoop102:9000"), conf, "root"); ...
Hadoop hdfs创建及删除目录代码示例
学亮编程手记
03-05 1457
通过API访问HDFS
sp_ur的博客
09-04 4198
一、通过 java.net.URL 1.在ubuntu下打开eclipse 2.创建项目 3.导入hadoop所有jar包  Build Path ---&gt;Configure  Build Path ---&gt; Add External JARs ---&gt;FileSystem ---&gt;mnt ---&gt; hgfs ---&gt;share for linux --...
HDFS Java API 用eclipse操作
weixin_54490958的博客
04-23 2714
配置Eclipse开发环境具体步骤如下 一：下载Eclipse插件,和eclipse eclipse插件参考网站如下： https://github.com/winghc/hadoop2x-eclipse-plugin https://codeload.github.com/winghc/hadoop2x-eclipse-plugin/zip/master eclipse下载 可以到Eclipse官网（Eclipse Downloads | The Eclipse Foundation）下载
hdfs java API 创建目录实例
最新发布
05-04
以下是使用HDFS Java API创建目录的示例代码： ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class CreateDirectory { public static void main(String[] args) throws Exception { //设置Hadoop的配置信息 Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://localhost:9000"); //创建HDFS文件系统对象 FileSystem fs = FileSystem.get(conf); //创建目录 Path path = new Path("/test"); boolean isCreated = fs.mkdirs(path); if (isCreated) { System.out.println("目录创建成功！"); } else { System.out.println("目录创建失败！"); } //关闭HDFS文件系统对象 fs.close(); } } ``` 在这个示例中，我们首先设置了Hadoop的配置信息，然后创建了HDFS文件系统对象。接着，我们使用`fs.mkdirs()`方法在根目录下创建了一个名为`test`的目录。最后，我们根据`fs.mkdirs()`方法的返回值判断目录是否创建成功，并关闭了HDFS文件系统对象。 你也可以自己定义目录的路径，比如使用一个相对路径。然而，这种方式并不推荐，因为它可能会导致路径无法正确解析。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值