Java Api操作HDFS

已于 2024-05-15 15:57:23 修改
阅读量1k 收藏 20
点赞数 22
文章标签： java hdfs 开发语言 hadoop 大数据 idea centos
于 2024-04-20 16:36:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_64972980/article/details/138001855
版权
本文详细介绍了使用Java进行HDFS操作，包括文件上传、覆盖/追加、下载、权限查看、目录遍历、文件创建/删除、内容追加、文件移动以及配置问题的解决。作者通过示例代码展示了如何处理各种场景，并分享了配置core-site.xml的注意事项。
摘要由CSDN通过智能技术生成

文章目录

示例代码

链接：https://pan.baidu.com/s/1yUnJh-j9EKmL2hPF8biAtg?pwd=dv12 提取码：dv12

鼠鼠遇到的坑!!!

  • 之前配置的Hadoop的core-site.xml文件中的配置的fs.defaultFS地址是hdfs://localhost:9000,然后后面Java连不上hdfs
  • 9000端口也是打开了,但就是连不上
  • 9870端口也能正常访问
  • 在这里插入图片描述
  • 防火墙也关闭了，也不行
  • 查阅诸多资料发现问题是Hadoop配置文件core-site.xml的fs.defaultFS地址问题
  • 只需将localhost改为自身IP即可
  • core-site.xml配置如下
<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/opt/hadoop/tmp</value>
        <description>location to store temporary files</description>
    </property>
    <property>
        <name>fs.defaultFS</name>
        <value>hdfs://shushu:9000</value>
        <!-- <value>hdfs://localhost:9000</value> -->
    </property>
</configuration>
  • 修改完后重启Hadoop
  • Java即可成功连接

HDFS常量类用于配置HDFS

  • 在这里插入图片描述

HDFS配置相关代码

  • 在这里插入图片描述

1.向 HDFS 中上传任意文本文件，如果指定的文件在 HDFS 中已经存在，由用户指定是追加到原有文件末尾还是覆盖原有的文件。

代码实现

  • 在这里插入图片描述
  • 在这里插入图片描述

测试

文件不存在

  • 查看当前HDFS文件是否存在
    -在这里插入图片描述

  • 本地文件内容

  • 在这里插入图片描述

  • 测试代码，方法首先会判断文件是否存在，此时无论选择哪个参数，都是直接上传

  • 在这里插入图片描述

  • 运行结果

  • 在这里插入图片描述

  • 查看是否成功，如图成功

覆盖

  • 查看当前HDFS文件为内容hello

  • 在这里插入图片描述

  • 本地文件内容为hello world!

  • 在这里插入图片描述

  • 测试代码(选择OVER_WRITE参数）

  • 在这里插入图片描述

  • 运行结果

  • 在这里插入图片描述

  • 查看HDFS文件内容是否为hello world!，如图覆盖成功

追加到末尾

  • 查看当前HDFS文件为内容hello world!

  • 本地文件内容为Haoop!

  • 在这里插入图片描述

  • 测试代码(选择APPEND_TO_END参数）

  • 在这里插入图片描述

  • 运行结果

  • 在这里插入图片描述

  • 查看HDFS文件内容是否为hello world!Hadoop!，如图追加成功

2.从 HDFS 中下载指定文件，如果本地文件与要下载的文件名称相同，则自动对下载的文件重命名。

代码实现

  • 在这里插入图片描述

测试

本地不存在同名文件

  • 查看HDFS文件内容hello world!Hadoop!

  • 测试代码

  • 在这里插入图片描述

  • 运行结果

  • 在这里插入图片描述

  • 查看下载下来的文件内容是否为hello world!Hadoop!,如图成功

  • 在这里插入图片描述

本地存在同名文件

  • 查看HDFS文件内容hello Java!

  • 测试代码

  • 在这里插入图片描述

  • 运行结果

  • 在这里插入图片描述

  • 查看下载下来并重命名的文件内容是否为hello Java!,如图成功

  • 在这里插入图片描述

将 HDFS 中指定文件的内容在终端显示。

代码实现

测试

  • 查看HDFS文件内容hello Java!

  • 测试代码

  • 运行结果(结果与HDFS文件内容hello Java!一致，成功)

  • 在这里插入图片描述

显示HDFS中指定的文件读写权限、大小、创建时间、路径等信息。

代码实现

  • 在这里插入图片描述

测试

  • shell命令查看HDFS文件信息

  • 测试代码

  • 运行结果(与shell命令执行结果一致，成功)

  • 在这里插入图片描述

3.给定HDFS中某一个目录，输出该目录下的所有文件的读写权限、大小、创建时间、路径等信息。

代码实现

  • 在这里插入图片描述

测试

  • shell命令查看HDFS目录信息

  • 在这里插入图片描述

  • 测试代码

  • 运行结果(与shell命令执行结果一致，成功)

  • 外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

4.提供一个 HDFS 中的文件的路径，对该文件进行创建和删除操作。如果文件所在目录不存在，则自动创建目录。

代码实现

  • 外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

测试

文件所在目录存在

  • 测试代码

  • 运行结果

  • 在这里插入图片描述

文件所在目录不存在

  • 测试代码

  • 在这里插入图片描述

  • 运行结果

  • 在这里插入图片描述

5.向HDFS中指定的文件追加内容,由用户指定将内容追加到原有文件的开头或结尾。

代码实现

  • 在这里插入图片描述

  • 在这里插入图片描述

测试

追加到开头

  • HDFS文件内容为Hadoop

  • 本地文件内容为Hello!

  • 在这里插入图片描述

  • 测试代码

  • 在这里插入图片描述

  • 运行结果

  • 在这里插入图片描述

  • 查看HDFS文件内容是否为Hello!Hadoop,如图成功

追加到结尾

  • HDFS文件内容为Hello!Hadoop

  • 本地文件内容为!Java

  • 在这里插入图片描述

  • 测试代码

  • 在这里插入图片描述

  • 运行结果

  • 在这里插入图片描述

  • 查看HDFS文件内容是否为Hello!Hadoop!Java,如图成功

6.删除 HDFS 中指定的文件。

代码实现

  • 在这里插入图片描述

测试

  • 查看要删除的HDFS文件

  • 在这里插入图片描述

  • 测试代码

  • 在这里插入图片描述

  • 运行结果

  • 在这里插入图片描述

  • 查看HDFS是否删除，如图成功

  • 在这里插入图片描述

7.在HDFS中将文件从源路径移动到目的路径。

代码实现

  • 在这里插入图片描述

测试

将/user/root/test.txt文件移动到/user/root/test目录下

  • 查看HDFS，/user/root/test目录下没有文件

  • 在这里插入图片描述

  • 测试代码

  • 运行结果

  • 在这里插入图片描述

  • 查看HDFS,如图移动成功

  • 在这里插入图片描述

假学习->鼠鼠
关注
  • 22
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
使用Java API访问Hdfs服务器
我玩的很开心的博客
06-30 5139
使用Java API访问Hdfs服务器
使用Java Api操作HDFS过程详解
08-25
使用Java API 操作 HDFS 过程详解 Java 应用程序接口（API）是 Java 语言提供的一组编程接口，用于访问和操作 Hadoop 分布式文件系统（HDFS）。本文将详细介绍使用 Java API 操作 HDFS 的过程，并提供了一个示例...
java连接hdfs（hdfs的API）
weixin_50691399的博客
12-15 1583
本文主要是hdfs的API，然后进行简单的进行举例说明怎么用。
java连接hdfs_03 java访问HDFS服务
weixin_33734005的博客
02-15 155
上一节课我们熟悉了HDFS的命令行操作，接下来我们将通过java代码访问HDFS服务。1 系统、软件以及前提约束2 操作1 在eclipse中创建一个项目，加入下载好的jar包并设置到环境变量2 将hadoop2.7.2.zip解压到C:\hadoop2.7.2目录下3 写入以下的测试类package net.wanho.hdfs;import java.io.IOException;import...
java连接HDFS
qq_67460132的博客
11-20 1943
HDFS连接java
使用java代码连接HDFS
balalaxstar的博客
03-29 766
前提是输入localhost:50070可以正常进入网页 Configuration conf=new Configuration(); try { FileSystem fs= FileSystem.get(new URI("hdfs://192.168.175.100:9000"),conf,"root"); //创建文件夹 fs.mkdirs(new Path("/testHDFS/java/hello")); //上传文件 .
java API 操作HDFS
05-08
javaAPI操作HDFS，测试可用 window环境需要下载hadoop客户端
使用Java API操作HDFS分布式文件系统
最新发布
04-11
通过上述Java API，开发者可以构建出复杂的HDFS操作逻辑，实现数据的高效读写、管理和处理。在实际应用中，还需要考虑性能优化、容错机制以及与其他Hadoop生态组件的集成。例如，结合MapReduce进行大规模数据处理，...
大数据技术基础实验报告-调用Java API实现HDFS操作.doc
08-21
【大数据技术基础实验报告-调用Java API实现HDFS操作】 本实验主要涵盖了大数据技术的基础，特别是如何在Linux环境下利用Java API对Hadoop分布式文件系统（HDFS）进行操作。实验涉及的主要步骤包括Eclipse的安装、...
Java API操作HDFS示例代码.rar
08-04
Windows下配置Hadoop的Java开发环境以及用Java API操作HDFS: https://blog.csdn.net/BADAO_LIUMANG_QIZHI/article/details/119379055
Java---实现连接HDFS
shall潇の菜园
03-19 1403
Java—实现连接HDFS 【前提：开启hadoop】 public class TestHDFS { public static void main(String[] args) { //1.创建Configuration Configuration conf = new Configuration(); try { //2.创建FS->分布式文件系统(URI:IP：9000,configuration,用户名)
java连接hdfs文件系统并访问文件
qq_42039996的博客
10-24 510
package hadoop; import java.io.BufferedReader; import java.io.InputStream; import java.io.InputStreamReader; import java.net.URL; import org.apache.commons.io.IOUtils; import org.apache.hadoop.fs.F...
Java API连接HDFS并创建Parquet文件
weixin_33804582的博客
10-27 1449
2019独角兽企业重金招聘Python工程师标准>>> ...
JAVA连接hdfs 操作
weixin_43955659的博客
03-19 2069
JAVA连接hdfs 操作 //完整的一个连接hdfs 和操作步骤 @Test public void test06() throws URISyntaxException, IOException, InterruptedException { //创建连接 //获取主节点 URI uri = new URI("hdfs://hadoop100:9000"); Configuration entries = new Conf
java hdfs 客户端链接_HDFS客户端操作（JAVA代码）
weixin_42469243的博客
02-28 241
环境准备windows需要配置hadoop的windows下的依赖安装包地址：将安装包解压至自己所选择的目录，然后配置环境变量：HADOOP_HOME : 解压的目录PATH后新增：%HADOOP_HOME%\binmaven所需依赖新建Maven项目，添加以下依赖：junitjunit4.12org.apache.logging.log4jlog4j-slf4j-impl2.12.0org.ap...
idea上java项目连接hdfs
qq_41642791的博客
06-08 2024
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录前言一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 前言 提示：这里可以添加本文要记录的大概内容： 例如：随着人工智能的不断发展，机器学习这门技术也越来越重要，很多人都开启了学习机器学习，本文就介绍了机器学习的基础内容。 提示：以下是本篇文章正文内容，下面案例可供参考 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代.
java 连接hadoop_java连接hadoop的hdfs
weixin_42538470的博客
02-12 544
import java.io.BufferedInputStream;import java.io.FileInputStream;import java.io.FileNotFoundException;import java.io.FileOutputStream;import java.io.IOException;import java.io.InputStream;import java...
使用java访问HDFS
Pythonwudud的博客
12-17 1343
在resources目录里创建log4j.properties文件。命令重复执行，不会失败，只是不断改变该文件的时间戳。文件，有点类似于Hadoop Shell里执行。创建Maven项目 - HDFSDemo。在Hadoop WebUI界面查看。利用Hadoop WebUI查看。已经存在，此时会提示用户创建失败。在HDFS Shell里利用。目录里确实创建了一个0字节的。命令的效果，但是有一点不同，单击【Create】按钮。（Maven仓库）-命令可以创建时间戳文件。
hadoop使用java api操作hdfs
03-27
在Hadoop中，Java API是操作HDFS的主要方式之一。 以下是使用Java API操作HDFS的步骤： 1. 导入Hadoop依赖项 ```java import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值