HDFS的数据写入过程

最新推荐文章于 2024-07-22 02:03:32 发布
最新推荐文章于 2024-07-22 02:03:32 发布
阅读量3.6k 收藏 1
点赞数
分类专栏： Hadoop 文章标签： HDFS namenode Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dsl200970/article/details/69987612
版权
本文介绍了HDFS的数据写入过程，包括客户端通过DistributedFileSystem创建文件、与Namenode交互、DataStreamer处理数据队列、pipeline的建立与故障处理、以及客户端的关闭操作。在写操作中，客户端通过FSDataOutputStream将数据切割成packet，通过pipeline传输到datanode，并等待ack确认。当出现datanode错误时，系统会进行恢复操作，确保数据完整性。客户端调用close方法时，默认执行sync确保数据写入完成。
摘要由CSDN通过智能技术生成
HDFS写文件流程：

1.客户端通过调用DistributedFileSystem的create方法创建新文件

2.DistributedFileSystem通过RPC调用namenode去创建一个没有blocks关联的新文件，创建前，namenode会做各种校验，比如文件是否存在，客户端有无权限去创建等。如果校验通过，namenode就会记录下新文件，否则就会抛出IO异常.

3.这样会返回FSDataOutputStream的对象，FSDataOutputStream被封装成DFSOutputStream.
DFSOutputStream可以协调namenode和datanode。客户端开始写数据到DFSOutputStream,
DFSOutputStream会把数据切成一个个小packet，然后排成队列data quene。

4.DataStreamer会去处理接受data queue，他先问询namenode这个新的block最
最低0.47元/天 解锁文章
代码与思路齐飞
关注
专栏目录
HDFS数据写入过程详解：服务器
TpCode的博客
10-07 116
总结：HDFS数据写入过程涉及客户端连接服务器、数据分块、写入数据块、数据节点接收数据、数据副本复制和数据写入确认等步骤。通过使用Hadoop提供的API，开发人员可以轻松地将数据写入HDFS，并利用HDFS的分布式特性和冗余存储来实现高可靠性和容错性。在将数据写入HDFS之前，Hadoop会将数据分成固定大小的块（默认为128MB）。数据节点将接收到的数据块复制到其他数据节点上，以实现数据的冗余存储。HDFS集群中的数据节点接收客户端发送的数据流。数据节点是HDFS的工作节点，负责存储和管理数据块。
hdfs写入数据的流程
wyqwilliam的博客
11-24 3063
1、客户端通过调用distributedFileSystem调用ceate()方法创建文件 2、distributedFileSystem对namenode创建一个PPC调用，去检查是否有这个文件，以及这个文件的权限，如果有这个文件，会返回IOException,如果没有就去创建这个文件。之后distributedFileSystem会返回给客户端DFSOutputStream对象，这个对象负责...
文件写入HDFS的整个流程
雨落千木的时节
12-14 1582
假设HDFS客户端为node11，用户A想要将文件apache.log写到HDFS上，该文件大小为100MB，假设用户配置的文件block大小为64MB，请结合你的理解，描述该文件写入HDFS的整个流程（请用步骤1，步骤2,……，描述） 使用HDFS提供的客户端(client)，向远程的namenode发起RPC请求；namenode会检查要创建的文件apache.log是否已经存在，创
图解 HDFS 架构 ｜读写过程
最新发布
面向生活编程
07-22 550
每个文件的 block 大小（dfs.blocksize）和副本系数（dfs.replication）都是可配置的。ACK (Acknowledge character）即是确认字符，在数据通信中，接收方发给发送方的一种传输类控制字符。HDFS 中的文件在物理上是分块存储（block）的，块的大小可以通过配置参数来规定，参数位于 hdfs-default.xml 中：dfs.blocksize。在线性推送模式下，每台机器所有的出口宽带都用于以最快的速度传输数据，而不是在多个接受者之间分配宽带。
HDFS写入数据的流程
Sula_G的博客
10-26 3298
1.客户端向NameNode发出写文件请求。 2.namenode收到客户端的请求后，首先会检测元数据的目录树；检查权限并判断待上传的文件是否已存在，如果已存在，则拒绝client的上传。如果不存在，则响应客户端可以上传。 3. 客户端收到可以上传的响应后，会把待上传的文件切块（hadoop2.x默认块大小为128M）;然后再次给namenode发送请求，上传第一个block块。 4.namenode收到客户端上传block块的请求后，首先会检测其保存的datanode信息...
大数据开发：HDFS数据写入流程详解
shuimuzh123的博客
01-15 1251
HDFS作为Hadoop的分布式文件系统，其在大数据平台当中的地位是显而易见的。面对越来越大规模的数据存储任务，HDFS的高可靠性和高性能依然值得称赞，这也与HDFS的数据读写机制有关。今天的大数据开发分享，我们具体来讲讲HDFS数据写入流程。 HDFS数据写入 客户端要向HDFS写数据，首先要跟namenode通信以确认可以写文件并获得接收文件block的datanode，然后客户端按顺序将文件逐个block传递给相应datanode，并由接收到block的datanode负责向其他datanod
HDFS数据的写入过程
Leon_Jinhai_Sun的博客
02-23 515
HDFS 文件写入过程 Client 发起文件上传请求, 通过 RPC 与 NameNode 建立通讯, NameNode 检查目标文件是否已存在, 父目录是否存在, 返回是否可以上传 Client 请求第一个 block 该传输到哪些 DataNode 服务器上 NameNode 根据配置文件中指定的备份数量及机架感知原理进行文件分配, 返回可用的 DataNod...
HDFS的写入数据过程详解 + Java代码实现
01-07
HDFS的写入数据过程细节上比较复杂，我们先来看一看具体代码是怎样实现写入数据过程的，然后再根据代码进行分析： import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FSDataOutputStream; ...
HDFS写数据过程
galaargl的博客
10-26 2565
1.创建文件请求； 客户端向DistributedFileSystrm发送请求，再由DistributedFileSystrm创建一个输出流叫FSDataOutputStream。HDFS后台会在FSDataOutputStream里面封装DFSOutputStream，DFSOutputStream会专门与数据节点交流进行下一步操作。 2.创建文件元数据； DFSOutputStream执行rpc远程调用去调用名称节点，使名称节点在他的系统命名空间中新建一个文件。 3.写入数据； 流水线的复制方
【Hadoop-HDFS】HDFS的读写流程 & SNN的数据写入流程
weixin_53543905的博客
12-25 1183
（9）客户端一次次的开始传输，一次次进行校验，直到将第一个 block 传输完成，接下来拿的第二个 block 再次请求 namenode，获取 block 要存储在那些 datanode 上，接下来执行第。（4）如果 namenode 之前返回的部分的 block 地址， 此时客户端接着再次请求 namenode， 获取下一批的 block 地址，执行第四步，以此类推，block 信息， 机架感知原理， 网络拓扑关系， 副本信息 ，本地原则，， 如果不存在直接报错， 如果存在， 接着会。
【HDFS】写入过程中如果有DataNode掉线了会发生什么？
Badme
08-27 895
【HDFS】写入过程中如果有DataNode掉线了会发生什么？
HDFS的写入数据的流程
Z.W.J的博客
02-20 997
首先需要将服务器与HDFS进行连接，从而获取HDFS的客户端连接对象，然后用客户端连接对象来调用API完成具体功能：比如写入文件的功能（写入数据的过程，重点研究的点也是在这。研究往HDFS写入数据时的内在工作机制）2）完成了第一步的准备工作之后，则准备上传文件了（也就是所谓的【往HDFS写数据】），那如何往HDFS写入数据呢？客户端开始往dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以Packet为单位，dn1收到一个Packet就会传给dn2，dn2传给dn3；（重复执行3-7步）
HDFS写数据流程
RayJoel的博客
10-26 440
步骤文字说明 1.客户端通过分布式文件系统（调用Create)请求创建一个新文件，名称节点（NN）通过验证请求的客户端，创建一个新文件。 如创建成功，则分布式文件系统返回一个文件系统数据输出流，交给请求客户端写数据。 如创建失败，显示IOException异常。 2.客户端调用Write函数，写入数据。 3.当客户端写入数据，文件系统数据输出流会将文件分割成一个个文件包放在数据队列中，数据队列会将这些小文件包放入数据流中，NN将把这些文件存放在合适的数据节点中。 4.文...
HDFS写入流程
gaotz123的博客
03-07 1283
如果收到成功的ACK，ResponseProcessor线程会将确认队列ackQueue中删除对应的package，如果写入失败，会将ackQueue里的package置入 data Queue重传。3.客户端会调用输出流对象的write()方法，这个方法会通过RPC的方式调NameNode是我addBlock()方法。1.hdfs Client 客户端调用DistributedFileSystem的creat()方法，这个方法会通过RPC远程过程调用的方式，调用NameNode的creat()方法。
hdfs写入流程
epitomizelu的专栏
05-22 400
参考文献：https://blog.csdn.net/b6ecl1k7BS8O/article/details/88386764
HDFS的写入过程
散步的博客
03-01 242
Client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已经存在，父目录是否存在，返回是否可以上传。 Client请求第一个block该传输到哪些DataNode服务器上 NameNode根据配置文件中指定的备份数量以及机架感知原理进行文件分配，返回可用的DataNode的地址，如：A,B,C hadoop 在设计时考虑到数据的安全与高效...
hdfs写入过程成功标志
05-31
在HDFS中，写入过程成功标志通常包括以下两个方面： 1. 数据块的写入成功标志：当一个数据块被写入到HDFS中后，NameNode会记录该数据块的元数据信息，包括数据块的副本数量、副本所在的DataNode节点等。此时，如果...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值