API实现HDFS的读写数据流JAVA代码及流程详解

最新推荐文章于 2024-09-27 22:18:42 发布
最新推荐文章于 2024-09-27 22:18:42 发布
阅读量1w 收藏 15
点赞数
分类专栏： hadoop 文章标签： hdfs hadoop java api HDFS文件读写操作
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/leen0304/article/details/77852178
版权
本文详细介绍了在Java中使用HDFS API进行文件读取和写入的步骤，包括读取时的DFSInputStream如何连接DataNode，以及写入时的DFSOutputStream如何创建文件并形成数据管线进行数据传输。在读取过程中，如果出现错误，DFSInputStream会尝试连接其他DataNode，确保数据完整性。
摘要由CSDN通过智能技术生成

前言

针对Java代码中实现对HDFS文件的读取（FSDataInputStream）与写入（FSDataOutputStream）在工作项目中经常使用；下边就读写流程做一下详细介绍。

环境准备

1.集群配置文件

如图，一般对文件的读取，会将core-site.xml，hdfs-site.xml，slaves文件拷贝到项目的根目录下；
如果项目中涉及到MapReduce的，需要将mapred-site.xml，yarn-site.xml拷贝过来；

这里写图片描述

2.pom.xml文件

可根据自己的hadoop版本及需求自行添加。github中查询地址请点击

    <repositories>
        <repository>
            <id>alimaven</id>
            <name>aliyun maven</name>
            <url>http://maven.aliyun.com/nexus/content/groups/public/</url
最低0.47元/天 解锁文章
生命不息丶折腾不止
关注
专栏目录
java操作hdfs读写
w_mchen的博客
12-22 1764
HDFS读写操作 public class HdfsOp { public static void main(String[] args) throws Exception { hdfsReadFile("hdfs://192.168.153.133:9000/", "hdfs://192.168.153.133:9000/spark/sparktmp.txt" ); hdfsWriteFile("out/ww.txt","hdfs://chen133:9000/", "hdfs://192.1
java hdfs文件_java读写HDFS
weixin_35974217的博客
02-12 378
package cn.test.hdfs;import java.io.IOException;import java.net.URI;import java.net.URISyntaxException;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FSDataInputStream;import ...
Java API 读取HDFS的单文件
个人技术博客
08-19 1522
Java API 读取HDFS的单文件
JAVA连接HDFS操作
最新发布
ning的博客
09-27 678
通过Java连接和操作HDFS是一项非常实用的技能，尤其是在处理大数据应用时。本文介绍了如何连接HDFS，以及如何执行创建、上传、下载、删除和查看文件内容等基本操作。掌握这些操作对于Java开发者来说非常重要。版权声明：本博客内容为原创，转载请保留原文链接及作者信息。参考文章JAVA连接hdfs 操作_连接hdfs的方法-CSDN博客大数据 | Java 操作 HDFS 常用 API-阿里云开发者社区。
Java 读取HDFS文件系统
anfuyi5792的博客
07-29 144
最近有个需求，计算用户画像。 系统大概有800W的用户量，算每个用户的一些数据。 数据量比较大，算用hive还是毫无压力的，但是写的oracle，在给出数据给前端，就比较难受了。 然后换了种解决方法： 　　1.hive计算，写的HDFS 　　2.API读出来，写到hbase（hdfs和hbase的版本不匹配，没办法用sqoop 直接导） 然后问题就来了。 需要写个API，读...
java 读取hdfs上的文件内容
Alex的博客
12-20 8401
java 读取hdfs上的文件内容
HDFS读写数据流程（详细）
m0_69406980的博客
11-24 580
HDFS读写数据流程
HDFS读写数据流程分析.ppt
09-29
在这里，我们将详细分析HDFS读写数据流程。 数据读取流程 在HDFS中，数据读取流程可以分为以下步骤： 1. 客户端发送读取请求：客户端向NameNode发送读取请求，请求中包含文件名和偏移量。 2. NameNode返回块信息...
Hadoop技术HDFS数据读写流程共7页.pdf.zip
11-21
在IT行业中，Hadoop是一个广泛...由于文件" Hadoop技术HDFS数据读写流程共7页.pdf "未提供具体细节，以上内容是对一般HDFS读写流程的概述。实际文档可能包含更深入的技术细节，例如数据校验、流控制、故障恢复等机制。
HDFS读写流程（全面深入理解）
qq_45725767的博客
10-27 3716
1、HDFS写流程   （1）客户端通过对FileSystem.create() 对象创建建文件，DistributedFileSystem会创建输出流FSDataOutputStream。   （2）DistributedFileSystem 通过RPC远程调用名称节点，在文件系统的命名空间中创建一个新的文件，此时该文件中还没有相应的数据块。   （3）名称节会执行一些检查，比如文件是否已经存在、客户端是都有权限创建文件等。检查通过后，名称节点会构造一个新文件，并添加文件信息。如果检查不通过，文件创建失败
HDFS 的java-常用API
weixin_43799053的博客
07-29 198
package com.cetc55.hdfs; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.junit.After; import org.junit.Before; import org.junit.Test; import java.io.IOException; import java.net.URI; import java.net.URISyntaxExcepti
java 读写 hdfs文件系统例子(包括权限设置)
04-10
java 读写 hdfs文件系统例子(包括权限设置);java 读写 hdfs文件系统例子(包括权限设置)java 读写 hdfs文件系统例子(包括权限设置)
使用Java实现HDFS文件读写
qzc_root的博客
04-20 509
maven引入依赖 file-new-project-maven-create from archetype(org.apache.maven.archetypes:maven-archetype-quickstart) GroupId:项目组织唯一的标识符，实际对应JAVA的包的结构，是main目录里java的目录结构 ArtifactId：项目的唯一的标识符，实际对应项目的名称，就是项目根目录的名称-next-finish pom.xml <?xml version="1.0" encoding=
java实现hdfs文件读写
wl20040124的博客
03-19 1303
Java实现hdfs文件读写一、创建java maven工程对hdfs文件进行读取1、新建maven工程2、修改pom.xml3、java代码二、jar包打包三、args[]传参方法 一、创建java maven工程对hdfs文件进行读取 1、新建maven工程 新建maven工程，选择quickstart方式 填写文件路径名及工程命 选择maven版本，并选择本机maven中的setting.xml 新建之后，选择enable自动导入包 2、修改pom.xml <properties&g
记录Java读取hdfs上的文件全过程
一名想当程序员的人
06-04 2507
跟着白哥学Java，今天就来分享一下Java如何上传文件到hdfs上面
Java读写hdfs中的文件
syz50113的博客
09-30 4819
前言 hdfs全称hadoop分布式文件系统，是Apach Hadoop的核心子项目。hdfs适合运行在通用硬件上，其在开源大数据技术体系中地位无可替代。 这篇文章记录了用Java读写hdfs中文件的全过程。 搭建hadoop集群 第一步就是要搭建hadoop集群，让hadoop集群能够成功运行。笔者是在windows环境搭建了hadoop 2.7.7，具体步骤参见：Windows下配置Hadoop环境（全过程） 这篇文章写得十分详细，对流程不再赘述，以下只列出几点原作者没有提到的问题： tmp文件夹可
java读取hdfs文件
wang5g的博客
05-07 1795
FileInputFormat.setInputPaths(job, new Path("hdfs://single:9000/test/student_ext/student.txt")); FileOutputFormat.setOutputPath(job, new Path("hdfs://single:9000/test/student_ext/test"));
java 读取hdfs文件_Java 操作 Hadoop 的 HDFS 文件系统
weixin_34211615的博客
02-12 878
public classTestHadoop {private staticConfiguration conf;private staticFileSystem fs;/*** 初始化*@throwsException*/public static void init() throwsException {conf= newConfiguration();conf.set("fs.default...
HDFS读写数据流程详解与分布式环境下的字节流操作
HDFS读写数据流程涉及客户端与服务器之间的连接管理、数据块定位、异步和同步读取策略以及数据缓存，这些都是为了在大规模分布式环境中提供高性能和容错性。理解这些细节对于开发和优化基于HDFS的应用至关重要。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

生命不息丶折腾不止

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值