HDFS读写文件详细过程

最新推荐文章于 2024-07-02 20:49:54 发布
最新推荐文章于 2024-07-02 20:49:54 发布
阅读量557 收藏 1
点赞数
分类专栏： Hadoop 文章标签： hadoop hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43854618/article/details/108808190
版权
本文详细介绍了HDFS中文件的读写过程。写文件时，客户端先向NameNode申请，NameNode检查后返回DataNode地址，客户端建立通信管道传输block。读文件时，客户端请求NameNode获取block位置，按拓扑结构排序DataNode，选择最近的节点读取数据，通过checksum验证数据完整性。整个过程涉及到NameNode、DataNode和客户端的交互。
摘要由CSDN通过智能技术生成

HDFS写文件

写文件的大致过程如下图所示：

在这里插入图片描述

HDFS写文件过程详解：

1.客户端首先会向NameNode提交写文件申请

2.NameNode检查用户权限和是否存在该目录文件等问题，决定是否可以上传

3.NameNode返回是否可以上传

4.如果NameNode返回可以上传，客户端就会向NameNode申请上传第一个block

5.NameNode根据机架感知机制和DataNode空间大小等问题，返回三个（默认）DataNode地址

6.客户端和返回的三台DataNode建立通信管道，本质是RPC调用，DN1收到请求后会调用DN2，DN2收到后会调用DN3，然后逐级返回给客户端报告管道建立完成

7.管道建立完成之后就开始第一个block的传输，是以packet（64k）为单位进行传输，DN1收到后通过管道复制给DN2，DN2复制给DN3

8.当第一个block传输完成之后DataNode会逐级返回上传完成

9.客户端收到第一个block传输完成之后，就会重复4-8进行第二个block的传输

HDFS读文件

读文件的大致过程如下图：

在这里插入图片描述

HD

最低0.47元/天 解锁文章
情深不仅李义山
关注
专栏目录
HDFS——写文件流程
hncscwc的博客
08-06 1816
上篇文章讲了数据传输的格式，本文就来说说hdfs中写文件的流程。hdfs客户端写文件的流程，大体可以分为两个步骤：第一步是创建或打开文件，第二步是进行block的写操作。block的写操作...
HDFS写文件流程
星茗
04-20 316
HDFS写文件流程 调用客户端的 DistributedFileSystem 的 create() 方法； DistributedFileSystem 会发起对 namenode 的一个RPC连接，请求创建一个文件，不包含关于 block 块的请求。 namenode 会执行各种各样的检查，保证要创建的文件不存在，并且客户端有创建文件的权限。如果检查通过， namenode 会创建一个文件(在edits中，同时更新内存状态)，否则创建失败，客户端抛异常IOException。 Distribu
HDFS读写流程详细过程
2301_80989898的博客
07-02 493
在刷写之前，如果NameNode节点宕机了，那么内存中的Edit文件也会丢失，此时可能会造成数据的损失。NameNode的每次启动都会将Fsimage文件读入内存，加载Edits文件里边的更新操作，保证内存中的数据是最新的，同步的，可以看成NameNode启动的时候就将Fsimage和Edits文件合并了。思考:Fsimage为磁盘文件，当在内存中的元数据更新时，如果同时更新FsImage，就会导致效率过低，但如果不更新，就会发生一致性问题，一旦NameNode节点断电，就会产生数据丢失。
Hdfs的文件读写过程
fa124607857的博客
11-14 392
0 Hdfs简介 HDFS 是 Hadoop Distribute File System 的简称，意为：Hadoop 分布式文件系统。是 Hadoop 核心组件之一，作为最底层的分布式存储服务而存在。它们是横跨在多台计算机上的存储系统 优点: 1 很好的处理超大文件 GB TB PB级别 筛分为多个分片 进行分布式处理 2 运行于廉价的商用机器集群上 3 高容错性和高可靠性 副本机制 ...
hdfs写文件过程
bertzhang的专栏
11-23 2401
作者：Liao hongshen 关于hadoop写文件的过程的一个描述； 首先附图（hadoop指南中）。 关于会上讨论的数据写入一致性，真实的过程和刘喆描述是相同的，由DFSClient向第一个datanode（从namenode申请）中建立dataoutputstream，在这个中会写入复制datanode的头信息；Datanode中的DataXcev
浅谈HDFS及其读写过程
qq_40589631的博客
08-12 1494
一、HDFS的概述 1、hdfs式文件系统，用于存储文件，通过统一的命名空间–目录树来定位文件。 2、它是分布式的，由很多服务器联合起实现其功能，集群中的服务器有各自的角色。 3、它的设计是一次写入，多次读出，且不支持文件的修改。 二、HDFS的优缺点 1、优点 （1）高容错性（一数据块存...
HDFS读写文件流程
Admin_ghost的博客
06-26 1041
一、基础概念 block 文件上传前需要分块（block），一般为128MB。 块太小：寻址时间占比过高。块太大：Map任务数太少，作业执行速度变慢。 packet packet是client端向DataNode，或DataNode的PipLine之间传数据的基本单位，默认64KB。 chunk chunk是client向DataNode，或DataNode的PipLine之间进行数据校验的基本单位，默认512Byte，因为用作校验，故每个chunk需要带有4Byte的校验位。所以实际每个ch
HDFS文件读写原理
Aa112233aA1的博客
06-02 2348
Client（客户端）对HDFS中的数据进行读写操作，分别是Client从HDFS中查找数据，即为Read（读）数据；Client从HDFS中存储数据，即为Write（写）数据。下面我们对HDFS的读写流程进行详细的介绍。假设有一个文件1.txt文件，大小为300M，这样就划分出3个数据块，如下图所示。 下面，我们根据上图，分别讲解HDFS文件读数据和写数据的原理。 1．HDFS写数据原理 在我们把文件上传到HDFS系统中，HDFS究竟是如何存储到集群中去的，又是如何创建备份的，接下来我们来学习客户端向H
HDFS读写数据流程（详细）
m0_69406980的博客
11-24 560
HDFS读写数据流程
HDFS读写机制.docx
最新发布
07-24
### HDFS读写机制 #### 一、读写机制 **1、数据写入** - **客户端发起请求：**客户端（Client）首先访问NameNode，请求上传一个文件。 - **检查文件与目录：**NameNode接收到请求后，会检查目标文件或目录是否已...
HDFS文件读写操作
10-11
本文档是关于hadoop中HDFS的文件读写操作的一份ppt,适用于学习hadoop新手.
hdfs读取文件
08-25
hdfs读取文件详细流程，绝对真实！
HDFS读取文件的流程
bujiujie8的博客
01-20 1788
这里参考了<Hadoop 2.X HDFS源码剖析>(徐鹏),<大数据处理系统：Hadoop源代码情景分析>(毛德操).主要是在<权威指南>的基础上扩展一些. 客户端通过调用FileSystem对象的open()来打开希望读取的文件,对HDFS来说,这个对象是DistributedFileSystem. 接下来我们来看看这个FileSystem.open()...
HDFS 读写流程简述
热门推荐
向日的知识小站
06-06 1万+
参考：https://blog.csdn.net/litianxiang_kaola/article/details/70984777          https://blog.csdn.net/zhanglh046/article/details/78547490一、客户端读流程简述1.跟namenode通信查询元数据，找到文件块所在的datanode服务器，HDFS客户端首先调用Distri...
HDFS读写文件的具体流程
叁木大数据
12-18 1074
HDFS读写文件的具体流程1.图解写文件2.流程详解3.图解读文件4.流程详解 1.图解写文件 2.流程详解 1.客户端通过Distributed FileSystem（分布式文件系统）模块向NameNode请求上传文件，NameNode检查文件是否已经存在，父目录是否存在 2.NameNode检查完成后，返回是否可以上传结果给客户端 3.客户端向NameNode请求上传第一个Block（0~1...
HDFS文件读写流程
czxylzl的博客
11-04 2083
DateNode作用 1.执行数据的读写（响应的是客户端） 2.周期性向NameNode做汇报（数据块的信息，校验和） 若datanode10分钟没有向NameNode做汇报，表示已丢失（已宕机） 心跳周期 3秒 3.执行流水线的复制（一点一点复制） ...
hdfs写文件流程
Java_Soldier的博客
09-15 8420
eg：client上传150M的数据到hdfs 1.客户端向namenode请求上传数据。是先写到edits文件中，记录操作日志 2.namenode检查连接条件，返回同意连接 3.client端请求上传第一个block（128M）,返回dn列表 4.nn返回可用的dn列表dn1，dn2，dn4（dn选择策略：距离/空间；第一个副本优先选择同机架的dn节点，第二个副本考虑安全性要跨机架，第
HDFS 读写文件
方法属性类，一个都不会
07-31 400
HDFS 读文件 1）客户端显式调用 open()函数打开文件。 2）后台通过 RPC 调用 NN服务，获取欲打开文件的文件块信息和文件所 在的数据节点。 3）客户端显式调用 read()函数，从第一个数据块开始读取数据，并选择离 客户端最近的那个副本。 4）选择离客户端最近的副本后，客户端直接从 DN读取数据。 5）当前数据块读完后继续连接此文件下一个数据块最近副本所在的 DN。 6）读完数据时，客户端显式调用 close()函数。相对于读取本地文件系统数 据，HDFS 读取数据流程较复杂，但对.
HDFS文件读写流程解析
在HDFS中写入文件的详细步骤如下： 1. 客户端首先与NameNode通信，请求上传一个文件。NameNode会检查文件是否已经存在，以及其父目录是否存在，以防止重名和权限问题。 2. 如果条件允许，NameNode会回应客户端可以...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值