Hadoop——HDFS文件系统的Java API操作（上传、下载、查看、删除、创建文件）详细教学

于 2024-04-18 03:17:31 发布
阅读量946 收藏 24
点赞数 27
分类专栏： 程序员 文章标签： hadoop hdfs java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84415708/article/details/137897723
版权

首先，启动Hadoop集群服务

然后在浏览器访问Hadoop，点击Browse the file system 查看HDFS文件系统的目录

可以看到目前HDFS文件系统的目录是空的，没有任何的文件和文件夹，下面开始今天的API操作

一、创建Maven项目

首先，打开IDEA，点击新建项目，在左侧中选择Maven，然后直接点击next

设置项目名称，点击Finish

点击右下角的 Enable Auto-Import(自动导入Jar包文件)，一个空的Maven项目就创建完毕啦

二、导入依赖

首先编辑pom.xml(Maven项目的核心文件)文件，添加如下内容，导入依赖（所需jar包）

org.apache.hadoop

hadoop-comm

最低0.47元/天 解锁文章
2401_84415708
关注
  • 27
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
实验二：熟悉常用的HDFS操作
05-05
A.2实验二:熟悉常用的HDFS操作 本实验对应第4章的内容。 A.2.1 实验目的 (1)理解 HDFS在Hadoop体系结构中的角色。(2）熟练使用HDFS操作常用的 Shell命令。(3)熟悉HDFS操作常用的Java API。 A.2.2 实验平台 (1）操作系统:Linux(建议Ubuntu 16.04）。(2) Hadoop版本:2.7.1。 (3）JDK版本:1.7或以上版本。(4) Java IDE:Eclipse。
java操作Hadoop源码之HDFS Java API操作-上传文件
01-17
java操作Hadoop源码之HDFS Java API操作-上传文件，附带所需全部jar包，欢迎下载学习。
HDFS判断文件或目录是否存在——Shell命令实现 + Java代码实现
01-20
一、Shell命令实现 第一步，启动Hadoop： start-dfs.sh 第二步，检测文件或目录是否存在： hdfs dfs -test -e 文件或目录名 第三步，查看检测结果： echo $? 若输出结果为0，则说明文件或目录存在，若为1，则说明文件或目录不存在。 二、Java代码实现 import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; public class HDFSFileIfExist {
大数据之使用Java操作Hadoop的上传下载
weixin_40598838的博客
05-26 1132
使用Java操作Hadoop的上传下载
Hadoop——HDFS文件系统的Java API操作
2301_76348171的博客
03-25 933
手绘了下图所示的kafka知识大纲流程图（xmind文件不能上传，导出图片展现），但都可提供源文件给每位爱学习的朋友觉得这些内容对你有帮助，可以扫码领取！**手绘了下图所示的kafka知识大纲流程图（xmind文件不能上传，导出图片展现），但都可提供源文件给每位爱学习的朋友[外链图片转存中…(img-yCeSKkqF-1711367474645)]点击传送门，即可免费领取！
JAVA操作HDFS集群
m0_56369204的博客
06-25 2033
本文介绍了使用Java操作HDFS集群的方法，具体的操作包括创建目录、删除文件、移动与重命名文件、查询文件信息以及文件的上传和下载等。通过示例代码和截图展示了每个操作的实际效果，帮助读者理解和使用HDFS安全模式和相关操作。
HDFS的Java操作
qq_52980958的博客
06-16 698
如果我们的代码中没有指定fs.defaultFS，并且工程classpath下也没有给定相应的配置，conf中的默认值就来自于hadoop的jar包中的core-default.xml，默认值为： file:///，则获取的将不是一个DistributedFileSystem的实例，而是一个本地文件系统的客户端对象。——从conf中的一个参数 fs.defaultFS的配置值判断；我们的操作目标是HDFS，所以获取到的fs对象应该是DistributedFileSystem的实例；
HDFS文件创建与写入
热门推荐
weixin_51551506的博客
11-02 1万+
此时，将本地的log文件内容，追加到了刚才创建的HDFS文件中，运行下面的命令，查看追加后的文件内容。运行后，已经将HDFS上的test.txt和hello.txt文件文件进行了合并，并且下载在本地。运行后显示如下，在/home/dolphin/Desktop/logs目录下有一个log文件。运行后显示如下，此时在HDFS的根目录下创建了log1和log2两个文件夹。运行后显示如下，可见此时根目录下已存在hello.txt文件。运行后显示如下，可见之前两个HDFS文件的内容都在这个文件中。
Hadoop——HDFS的Java API操作（文件上传、下载、删除等）
qq_43760191的博客
07-19 2642
HDFS的文件相关操作
记录Java读取hdfs上的文件全过程
一名想当程序员的人
06-04 2177
跟着白哥学Java，今天就来分享一下Java如何上传文件到hdfs上面
大数据学习指南合集（Hadoop、Spark、Flink等）
03-14
Hadoop——HDFS的Java API操作   4. Hadoop——分布式计算框架MapReduce   5. Hadoop——MapReduce案例   6. Hadoop——资源调度器YARN   7. Hadoop——Hadoop数据压缩 二、Zookeeper   1.Zookeeper——...
big-data-wordcount:使用 Hadoop Yarn 的大数据分析大数据科学的简化入门项目。 与 Spring Boot 和 Spring for Hadoop 集成，提供统一的配置模型和易于使用的 API 的访问，以便使用内置本地部署的 HDFS、MapReduce、Pig 和 Hive。 是的，您没听错——不需要运行 Hadoop 集群来测试您的代码！ 该项目将根据您的需要在本地启动 Hadoop，然后在运行您的 MapReduce 代码后将其关闭
06-21
与 Spring Boot 和 Spring for Hadoop 集成，提供统一的配置模型和易于使用的 API 的访问，以便使用内置本地部署的 HDFS、MapReduce、Pig 和 Hive。 是的，您没听错——不需要运行 Hadoop 集群来测试您的代码！ 该...
大数据学习路线 大数据技术栈思维导图 大数据常用软件安装指南
08-05
分布式文件存储系统 —— HDFS 分布式计算框架 —— MapReduce 集群资源管理器 —— YARN Hadoop 单机伪集群环境搭建 Hadoop 集群环境搭建 HDFS 常用 Shell 命令 HDFS Java API 的使用 基于 Zookeeper 搭建 Hadoop ...
大数据技术与应用——实验报告汇总.zip
06-14
实验一(Hadoop分布式环境搭建) 实验二(shell指令和JavaAPI的HDFS操作) 实验三(shell指令操作HBase) 实验四(JavaApi操作HBase)
大数据精选入门指南，包括大数据学习路线、大数据技术栈思维导图
最新发布
04-01
分散文件存储系统 —— HDFS 多元计算框架——MapReduce 集群资源管理器 —— YARN Hadoop单机伪集群环境搭建 Hadoop 云服务环境搭建 HDFS使用Shell命令 HDFS Java API的使用 基于Zookeeper搭建Hadoop高可用服务 二...
hadoop的API操作文件的上传下载
weixin_65031386的博客
05-10 107
【代码】hadoop的API操作文件的上传下载。
调用hadoop api实现文件的上传、下载、删除、创建目录和显示功能
menghuannvxia的专栏
03-26 8024
（1）添加必要的hadoop jar包。 A、首先将Hadoop1.1.2.tar.gz解压到某一个磁盘下。 B、右键选择工程，选择build path....， build configure path； C、将hadoop1.1.2文件夹下的jar包添加进去； 还有lib文件夹下的所有jar包（注意：jasper-compiler-5.5.12.jar和ja
Hadoop学习笔记一（通过Java API 操作HDFS,文件上传、下载）
lkq0112的博客
01-23 2600
package demo.hdfs; import java.util.Arrays; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.BlockLocation; import org.apache.hadoop.fs.FileStatus; import org.apac
hdfs java api 读写文件操作_HDFS教程：使用Java API读写命令
05-28
好的，让我来回答您的问题。 使用Java API读写HDFS文件，需要进行以下步骤： 1. 创建Configuration对象，并设置HDFS的URI和文件系统类型。 ```java Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://localhost:9000"); conf.set("fs.hdfs.impl", org.apache.hadoop.hdfs.DistributedFileSystem.class.getName()); ``` 2. 获取FileSystem对象，并指定使用的文件系统类型。 ```java FileSystem fs = FileSystem.get(conf); ``` 3. 创建Path对象，指定读写的HDFS文件路径。 ```java Path filePath = new Path("/user/hadoop/test.txt"); ``` 4. 使用FSDataInputStream读取HDFS文件内容。 ```java FSDataInputStream inStream = fs.open(filePath); byte[] buffer = new byte[256]; int bytesRead = 0; while ((bytesRead = inStream.read(buffer)) > 0) { System.out.println(new String(buffer, 0, bytesRead)); } inStream.close(); ``` 5. 使用FSDataOutputStream写入HDFS文件内容。 ```java FSDataOutputStream outStream = fs.create(filePath); outStream.writeBytes("Hello, world!"); outStream.close(); ``` 以上就是使用Java API读写HDFS文件的基本步骤。希望能够帮助到您！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值