使用Java API操作HDFS

最新推荐文章于 2022-12-05 11:30:33 发布
最新推荐文章于 2022-12-05 11:30:33 发布
阅读量1.3k 收藏 5
点赞数 1
文章标签： java hdfs 开发语言
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hmlieder/article/details/128041615
版权
本文详细介绍了如何使用Java API访问HDFS，包括创建Maven项目、添加依赖、启动HDFS服务、创建与读写文件、重命名、显示文件列表、获取文件块信息、创建目录、判断文件存在性及删除操作等步骤。
摘要由CSDN通过智能技术生成

（一）编写Java程序访问HDFS

1、创建Maven项目

创建Maven项目 - HDFSDemo

单击Finish。

 2、添加相关依赖

在pom.xml文件里添加hadoop和junit依赖

Maven Repository（Maven仓库）- https://mvnrepository.com/

搜索hadoop 

单击hadoop-client超链接 

单击3.3.4超链接

  

3、创建日志属性文件

在resources目录里创建log4j.properties文件 

4、启动集群HDFS服务

在主节点上执行命令：start-dfs.sh 

在Hadoop WebUI界面查看

 5、在HDFS上创建文件

创建CreateFileOnHDFS类

运行程序，查看结果

最低0.47元/天 解锁文章
HMLieder
关注
java API 操作HDFS
05-08
javaAPI操作HDFS，测试可用 window环境需要下载hadoop客户端
使用Java API访问Hdfs服务器
我玩的很开心的博客
06-30 5374
使用Java API访问Hdfs服务器
大数据上课笔记之使用Java API操作HDFS
Cisyamr的博客
12-01 2155
HDFS Java API 位于“org.apache.hadoop.fs"包中，这些API能够支持的操作包含打开文件、读写文件、删除文件等。
FileSystem.get()方法解析
04stone37
01-06 1万+
整体过程 根据URI获取scheme信息； 通过scheme判断是否使用缓存； 如果不用缓存，则直接创建FileSystem；否则从缓存中获取； FileSystem创建过程 首次使用时，通过ServiceLoader方法将FileSystem所有实现类加载到内存，并缓存所有的class对象； 每次通过scheme获取文件系统对应的class对象，实例化和初始化； private stat...
hdfs Java API 读取数据
m0_72168501的博客
12-05 585
hdfs Java API 读取数据简单操作
使用Java Api操作HDFS过程详解
08-25
使用Java API 操作 HDFS 过程详解 Java 应用程序接口（API）是 Java 语言提供的一组编程接口，用于访问和操作 Hadoop 分布式文件系统（HDFS）。本文将详细介绍使用 Java API 操作 HDFS 的过程，并提供了一个示例...
使用Java API操作HDFS分布式文件系统
04-11
本文将深入探讨如何使用Java API来操作HDFS。 1. **HDFS基本概念** - **NameNode**：HDFS的主节点，负责管理文件系统的命名空间和元数据，如文件名、文件块信息等。 - **DataNode**：存储实际数据的从节点，执行...
大数据技术基础实验报告-调用Java API实现HDFS操作.doc
08-21
【大数据技术基础实验报告-调用Java API实现HDFS操作】 本实验主要涵盖了大数据技术的基础，特别是如何在Linux环境下利用Java API对Hadoop分布式文件系统（HDFS）进行操作。实验涉及的主要步骤包括Eclipse的安装、...
HDFS中JAVA API的使用
08-30
HDFS中JAVA API的使用 HDFS（Hadoop Distributed File System）是一种...使用JAVA API对HDFS中的文件进行操作需要了解HDFS中的基本概念和JAVA API的使用方法。通过掌握这些知识点，可以轻松地对HDFS中的文件进行操作。
大数据学习：使用Java API操作HDFS
X_Serendipity的博客
11-30 2419
创建、读取、写入
HDFS基础编程--JavaApi
qq_46439199的博客
11-16 2071
HDFS基础编程--JavaApi
Hadoop实践（三）---使用HDFS的Java API
狮锅艺
10-07 2573
HDFS进阶
使用JavaAPI操作HDFS文件系统(大数据学习6)
逆流而上Mr李
01-02 1568
******HDFS应用开发篇****** HDFS的java操作 1 搭建开发环境 1.1引入依赖 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-client</...
【大数据各平台组件搭建使用精进】hdfs的maven操作（4）
hx1156477702的博客
09-26 518
hdfs分布式系统的maven操作，idea使用，maven配置以及更改国内镜像
使用Java API 访问HDFS上的数据
sun_0128的博客
06-30 3457
文章目录一.概述二.搭建环境 一.概述 除了可以用HDFS shell的方式 来访问HDFS上的数据,Hadoop还提供了以Java API的方式来操作HDFS上的数据.由于我们实际开发的大数据应用都是以代码的方式提交的,所以在代码中使用API的方式来操作HDFS数据必须掌握 二.搭建环境 1.我们使用Maven来构建Java程序,所以需要添加maven的依赖包,在pom.xml文件中的<dependencies>标签下添加如下代码: <dependency> &
实验二、熟悉常用的HDFS操作(HDFS JavaAPI之读取/上传/删除文件)
Lilianach的博客
04-24 1万+
一、实验目的 理解HDFS在Hadoop体系结构中的角色 熟练使用HDFS操作常用的shell命令 熟悉HDFS操作常用的Java API 二、实验平台 操作系统：CentOS 8 Hadoop版本：3.3.1 jdk版本：1.8 Java IDE：Eclipse 三、实验内容 1. 使用Hadoop命令操作分布式文件系统。 新建目录 在本地和hadoop中分别创建文件夹： 在本地创建目录： Hadoop创建目录： 上传文件至dfs 切换到本地input目录下，创建文件并添加数据：hel
创建一个Maven工程HdfsClientDemo
weixin_39868387的博客
11-21 2417
工程创建步骤 打开idea工具： 工程创建完毕 创建出来工程后，会弹出这个窗口，注意:不要点击这个，后果会使maven仓库非常乱 在pom.xml文件中，导入相应的依赖坐标+日志添加 pom.xml <dependencies> <dependency> <groupId>junit</groupId> <a...
头歌实验 HDFS的基本操作和Java API 操作
热门推荐
weixin_61657766的博客
10-16 1万+
头歌 实验HDFS 的基本操作和 Java API 操作
使用javaapi操作hdfs
最新发布
10-21
在Java中操作Hadoop Distributed File System (HDFS)通常需要使用Hadoop官方提供的API，即Hadoop Commons IO库以及Hadoop Client API，特别是`org.apache.hadoop.fs.FileSystem` 和 `org.apache.hadoop.fs.Path` 类...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值