Hadoop——HDFS文件系统的Java API操作（上传、下载、查看、删除、创建文件）详细教学

于 2024-04-18 03:17:31 发布
阅读量963 收藏 24
点赞数 27
分类专栏： 程序员 文章标签： hadoop hdfs java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/2401_84415708/article/details/137897723
版权

首先，启动Hadoop集群服务

然后在浏览器访问Hadoop，点击Browse the file system 查看HDFS文件系统的目录

可以看到目前HDFS文件系统的目录是空的，没有任何的文件和文件夹，下面开始今天的API操作

一、创建Maven项目

首先，打开IDEA，点击新建项目，在左侧中选择Maven，然后直接点击next

设置项目名称，点击Finish

点击右下角的 Enable Auto-Import(自动导入Jar包文件)，一个空的Maven项目就创建完毕啦

二、导入依赖

首先编辑pom.xml(Maven项目的核心文件)文件，添加如下内容，导入依赖（所需jar包）

org.apache.hadoop

hadoop-comm

最低0.47元/天 解锁文章
2401_84415708
关注
  • 27
    点赞
  • 踩
  • 24
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS的Java程序
sinat_39193763的博客
05-24 295
一、HDFSMKdir.java新建HDFS目录/aadir 二、HDFSUpload.java写入/上传 本地文件c:\hdfs\aa.txt 到HDFS的/aadir目录下。 加载包 三、HDFSDownload.java读/下载 HDFS的根目录文件/bb.txt 到本地c:\hdfs目录下 加载包 四、HDFSFileIfExist.java查看HDFS文件/bb.txt是否存在 实验...
Hadoop——HDFS文件系统的Java API操作
最新发布
2301_76348171的博客
03-25 978
手绘了下图所示的kafka知识大纲流程图（xmind文件不能上传，导出图片展现），但都可提供源文件给每位爱学习的朋友觉得这些内容对你有帮助，可以扫码领取！**手绘了下图所示的kafka知识大纲流程图（xmind文件不能上传，导出图片展现），但都可提供源文件给每位爱学习的朋友[外链图片转存中…(img-yCeSKkqF-1711367474645)]点击传送门，即可免费领取！
java操作Hadoop源码之HDFS Java API操作-上传文件
01-17
java操作Hadoop源码之HDFS Java API操作-上传文件，附带所需全部jar包，欢迎下载学习。
大数据之使用Java操作Hadoop的上传下载
weixin_40598838的博客
05-26 1137
使用Java操作Hadoop的上传下载
Java操作Hdfs
CJunZero的博客
04-24 1514
java代码 package cn.itcast.hadoop.hdfs; import java.io.FileInputStream; import java.io.FileNotFoundException; import java.io.FileOutputStream; import java.io.IOException; import java.io.InputStream; import java.io.OutputStream; import java.net.URI; import
Java操作HDFS
fuck487的博客
02-27 526
1、添加hadoop相关的maven依赖 <!-- hadoop依赖 --> <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</artifactId> <version>2.9
HDFS判断文件或目录是否存在——Shell命令实现 + Java代码实现
01-20
hdfs dfs -test -e 文件或目录名 第三步，查看检测结果： echo $? 若输出结果为0，则说明文件或目录存在，若为1，则说明文件或目录不存在。 二、Java代码实现 import org.apache.hadoop.conf.Configuration; ...
实验二：熟悉常用的HDFS操作
05-05
A.2实验二:熟悉常用的HDFS操作 ...(3)熟悉HDFS操作常用的Java API。 A.2.2 实验平台 (1）操作系统:Linux(建议Ubuntu 16.04）。(2) Hadoop版本:2.7.1。 (3）JDK版本:1.7或以上版本。(4) Java IDE:Eclipse。
大数据学习指南合集（Hadoop、Spark、Flink等）
03-14
Hadoop——HDFS的Java API操作   4. Hadoop——分布式计算框架MapReduce   5. Hadoop——MapReduce案例   6. Hadoop——资源调度器YARN   7. Hadoop——Hadoop数据压缩 二、Zookeeper   1.Zookeeper——...
big-data-wordcount:使用 Hadoop Yarn 的大数据分析大数据科学的简化入门项目。 与 Spring Boot 和 Spring for Hadoop 集成，提供统一的配置模型和易于使用的 API 的访问，以便使用内置本地部署的 HDFS、MapReduce、Pig 和 Hive。 是的，您没听错——不需要运行 Hadoop 集群来测试您的代码！ 该项目将根据您的需要在本地启动 Hadoop，然后在运行您的 MapReduce 代码后将其关闭
06-21
与 Spring Boot 和 Spring for Hadoop 集成，提供统一的配置模型和易于使用的 API 的访问，以便使用内置本地部署的 HDFS、MapReduce、Pig 和 Hive。 是的，您没听错——不需要运行 Hadoop 集群来测试您的代码！ 该...
java操作HDFS
10-27 126
package com.imooc.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.io.IOUtils; import org.apache.hadoop.yarn.webapp.hamlet2.Hamlet; import java.io.FileInputStream; import java.io.FileOutputStream; i
HDFS应用开发篇
weixin_34377919的博客
04-01 157
HDFS的java操作hdfs在生产应用中主要是客户端的开发，其核心步骤是从hdfs提供的api中构造一个HDFS的访问客户端对象，然后通过该客户端对象操作（增删改查）HDFS上的文件7.1 搭建开发环境1、引入依赖<dependency><groupId>org.apache.hadoop</groupId><art...
HDFS的Java操作
qq_52980958的博客
06-16 705
如果我们的代码中没有指定fs.defaultFS，并且工程classpath下也没有给定相应的配置，conf中的默认值就来自于hadoop的jar包中的core-default.xml，默认值为： file:///，则获取的将不是一个DistributedFileSystem的实例，而是一个本地文件系统的客户端对象。——从conf中的一个参数 fs.defaultFS的配置值判断；我们的操作目标是HDFS，所以获取到的fs对象应该是DistributedFileSystem的实例；
hdfs java api 读写文件操作_HDFS教程：使用Java API读写命令
05-28
好的，让我来回答您的问题。 使用Java API读写HDFS文件，需要进行以下步骤： 1. 创建Configuration对象，并设置HDFS的URI和文件系统类型。 ```java Configuration conf = new Configuration(); conf.set("fs.defaultFS", "hdfs://localhost:9000"); conf.set("fs.hdfs.impl", org.apache.hadoop.hdfs.DistributedFileSystem.class.getName()); ``` 2. 获取FileSystem对象，并指定使用的文件系统类型。 ```java FileSystem fs = FileSystem.get(conf); ``` 3. 创建Path对象，指定读写的HDFS文件路径。 ```java Path filePath = new Path("/user/hadoop/test.txt"); ``` 4. 使用FSDataInputStream读取HDFS文件内容。 ```java FSDataInputStream inStream = fs.open(filePath); byte[] buffer = new byte[256]; int bytesRead = 0; while ((bytesRead = inStream.read(buffer)) > 0) { System.out.println(new String(buffer, 0, bytesRead)); } inStream.close(); ``` 5. 使用FSDataOutputStream写入HDFS文件内容。 ```java FSDataOutputStream outStream = fs.create(filePath); outStream.writeBytes("Hello, world!"); outStream.close(); ``` 以上就是使用Java API读写HDFS文件的基本步骤。希望能够帮助到您！

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值