HDFS - 写流程、读流程

最新推荐文章于 2024-06-24 22:53:05 发布
最新推荐文章于 2024-06-24 22:53:05 发布
阅读量161 收藏
点赞数 1
分类专栏： Hadoop HDFS 文章标签： HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/BlessingXRY/article/details/100176798
版权
Hadoop 同时被 2 个专栏收录
12 篇文章 0 订阅
订阅专栏
HDFS
4 篇文章 0 订阅
订阅专栏

写流程

（1）客户端向NameNode发起写数据请求
（2）分块写入DataNode节点，DataNode自动完成副本备份
（3）DataNode向NameNode汇报存储完成，NameNode通知客户端

图示如下：

读流程

（1）客户端向NameNode发起读数据请求
（2）NameNode找出距离最近的DataNode节点信息
（3）客户端从DataNode分块下载文件

图示如下：

leoxry
关注
专栏目录
DataNode，机架感知，写入写出数据，数据一致性，入门级指令
CenCenNA的博客
11-05 701
DataNode作用 1、执行数据的读写（响应的是客户端） 2、周期性向NameNode做汇报（数据块的信息、校验和） 若datanode 10分钟没有向NameNode做汇报，表示已丢失（已宕机） 心跳周期 3秒 3、执行流水线的复制（一点一点复制） 机架感知 实际上需要工程师收到创建一个脚本（python sh ）,脚本中记录主机IP和交换机的对应关系。 配置的位置是core-site.xm...
hdfs读流程图_HDFS客户端读写流程图
weixin_39769187的博客
12-24 197
一、HDFS客户端写流程1.客户端请求上传数据到服务器2.服务器接收到这个请求，然后到自己的元数据里面去查询，元数据中是否记录了该文件的存在3.NN响应客户端是否可以上传4.服务器会发送再次请求，需要上传多大的数据文件5.服务器会根据上传文件大小进行调度，返回要上传的DataNode节点6.客户端接收队列数据：通过pop方法，取出第一个节点的地址，然后访问该节点，并吧剩下的其他节点的IP地址带过去...
hdfs读写流程_HDFS 读写流程（详解）
weixin_39603050的博客
12-01 203
概述HDFS(Hadoop Distributed File System)是GFS的开源实现。HDFS的优缺点1、优点因为有多个副本，可以保证数据可靠，容错性高计算向数据移动，适用于批处理适合大数据处理，GB、TB、PB级数据，百万以上的文件，十万以上的节点可以构建在廉价机器上，通过多副本提高可靠性2、缺点不支持低延迟的数据访问，无法再毫秒之内返回结果小文件对于HDFS是致命的，会占用大量的Na...
000005 - HDFS 读写流程
张--小涛涛
06-24 1241
（7） 客户端开始往dn1 上传第一个Block （先从磁盘读取数据放到一个本地内存缓存），以 Packet 为单位，dn1 收到一个 Packet 就会传给 dn2，dn2 传给 dn3；（5）客户端通过 FSDataOutputStream 模块请求dn1 上传数据，dn1 收到请求会继续调用dn2，然后dn2 调用dn3，将这个通信管道建立完成。那么这个最近距离怎么计算呢？（8）当一个Block 传输完成之后，客户端再次请求NameNode 上传第二个Block 的服务器（重复执行 3-7 步）。
Hadoop-HDFS-读写流程详解
qichangjian的博客
02-20 985
HDFS写数据流程： 详细步骤图： 详细描述： 1.客户端向NN发送文件上传的请求 2.NN进行一系列的检查：是否有权限，文件的父目录是否存在，文件是否已经存在同名等等，检查通过，允许上传 3.NN告知客户端允许上传 4.客户端发送真正的文件上传的请求，请求包含一个重要信息，文件的长度/大小 5.NN根据文件的长度计算文件的切块的个数（200M/128M = 2）,以及获取文本的配置信息dfs...
HDFS读写流程详细过程
热门推荐
m0_57697768的博客
05-29 1万+
HDFS详细的读写流程，edit和fsimage文件的更新，WAL技术
hdfs读流程图_HDFS读写流程
weixin_42511053的博客
02-15 399
1、客户端通过调用 DistributedFileSystem 的create方法，创建一个新的文件2、通过 RPC(远程过程调用)调用 NameNode，去创建一个没有blocks关联的新文件。创建前，NameNode 会做各种校验，比如文件是否存在，客户端有无权限去创建等。如果校验通过，NameNode 就会记录下新文件，否则就会抛出IO异常3、返回FSDataOutputStream，执行w...
HDFS 读写数据流程
程序猿进阶
06-11 2612
客户端开始往 dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以 Packet为单位，dn1收到一个 Packet就会传给 dn2，dn2传给 dn3；利用这种标记，这里给出四种距离描述，如上图所示：大家算一算每两个节点之间的距离：每一个线表示1，例如 11 到 4距离为3。对于常见情况，当复制因子为3时，HDFS的放置策略是将一个副本放在本地机架中的一个节点上，另一个放在本地机架中的另一个节点上，最后一个放在不同机架中的另一个节点上。【3】第三个副本位于不同机架，随机节点。
细节图解HDFS-读流程
尹忠政的博客
11-03 1345
图解HDFS-读流程 说明 在open的时候，客户端会去执行步骤2去获取起始位置的LocatedBlocks，getLocatedBlocks(src, start, dfsClientConf.prefetchSize)，第三个参数是表示数据长度，默认是10 * defaultBlockSize,既1280M。在大多数情况下，无需请求步骤5，每一次定位block时只需要走第一次缓存的LocatedBlocks即可。当读取的offset大于缓存的LocatedBlocks的fileLength的时候，这
HDFS-day02-第四章HDFS的读写流程
AlphaG的博客
07-15 168
1：HDFS写入数据的流程（如何在客户端把数据写入到HDFS集群） 1：首先客户端向NameNode发送上传请求 2：NameNode检查客户端所传递的用户以及权限问题，还有是否存在等问题，如果均满足，则响应客户端可以上传问题 3：客户端请求上传地址，即上传第一个块的地址，返回指定的DataNode 这种副本存储节点的选择有如图上的三种节点，应该是负载均衡方面的考虑。 4：NameNode返回节点，表示采用这几个节点存储数据 ...
分布式文件系统hdfs - 副本.zip
04-11
下面我们将深入探讨HDFS的基本原理、架构、工作流程以及其副本策略。 ### 1. HDFS基本概念 HDFS是一种基于块存储的分布式文件系统，将大文件分割成固定大小的块（默认为128MB），并将其分布在不同的节点上。每个...
HDFS的读写流程步骤（附图文解析）
m0_67265464的博客
09-09 5881
深知大多数初中级Java工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则近万的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！因此收集整理了一份《Java开发全套学习资料》送给大家，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友，同时减轻大家的负担。
【Hadoop-HDFS】HDFS的读写流程 & SNN的数据写入流程
weixin_53543905的博客
12-25 1208
（9）客户端一次次的开始传输，一次次进行校验，直到将第一个 block 传输完成，接下来拿的第二个 block 再次请求 namenode，获取 block 要存储在那些 datanode 上，接下来执行第。（4）如果 namenode 之前返回的部分的 block 地址， 此时客户端接着再次请求 namenode， 获取下一批的 block 地址，执行第四步，以此类推，block 信息， 机架感知原理， 网络拓扑关系， 副本信息 ，本地原则，， 如果不存在直接报错， 如果存在， 接着会。
基于双区间熵重映射的图像对比度增强方法研究
11-08
内容概要：该论文介绍了一种基于双区间熵重映射的图像对比度增强方法。文中详细解释了方法的数学原理及其在图像处理中的应用，特别是如何有效地提高低对比度图像的对比度，同时对高对比度图像的变换则相对平滑。实验证明该方法不仅提高了图像的视觉效果，还能结合Gabor滤波器进一步提升增强效果。 适合人群：从事图像处理和计算机视觉领域的研究人员和技术人员，以及对图像对比度增强技术感兴趣的学术界人士。 使用场景及目标：适用于需要提高数字图像对比度的各种应用场景，尤其是在图像处理和计算机视觉任务中。目的是提高图像质量，更好地识别和分析图像内容。 其他说明：该方法不仅在对比度增强方面表现优异，还在保持图像原有细节和减少噪声方面显示出优势。通过对多种经典测试图像的评估，证明了其优越性和普适性。
软考知识点-系统架构设计师-计算机网络与软件工程关键技术综述
11-08
内容概要：本文涵盖了多个领域的关键技术和概念，主要包括PaaS、SaaS、IaaS等云计算服务模式；数据库的三级模式（外模式、模式、内模式）；AI芯片的技术架构（GPU、FPGA、ASIC、类脑芯片等）；DNS配置和管理在Linux、Unix、macOS和Windows中的差异；网络和服务器延迟的定义及组成部分；软件需求开发、软件过程、软件活动和软件设计的关键步骤；信息屏蔽的概念及应用；构件分类；中间件的功能；C/S架构的不同层次及特征；Kerberos认证协议的工作原理和优缺点。每部分内容均简明扼要地介绍了相关概念和技术的特点和应用。 适合人群：具备一定技术背景的研究人员、开发人员和系统管理员。 使用场景及目标：适用于希望深入了解计算机网络、软件工程和信息安全领域的从业人员，可用于指导技术选型、系统设计和安全防护等方面的工作。 阅读建议：本文内容丰富，涵盖多个领域，建议在阅读时重点关注自己感兴趣的领域，并结合实际情况进行深入研究和实践。
农家乐内部管理系统 SSM毕业设计 附带论文.zip
最新发布
11-08
农家乐内部管理系统 SSM毕业设计 附带论文 启动教程:https://www.bilibili.com/video/BV1GK1iYyE2B
线上办公管理系统 SSM毕业设计 附带论文.zip
11-08
线上办公管理系统 SSM毕业设计 附带论文 启动教程:https://www.bilibili.com/video/BV1GK1iYyE2B
RDPWrap 配置文件更新包 rdpwrap.ini 更新到 10.0.19041.2913
11-08
多用远程配置文件，新版本的找了很久。提供给大家使用。详细配置方式。查看网友的。很详细。不解释了。
基于MySQL的嵌入式Linux智慧农业信息采集控制系统 +C语言项目源码+文档说明
11-08
<项目介绍> - 系统主要实现的功能有： （1）采集终端向服务器上报温度、湿度、电机状态（用于降低温度）、开关状态（用于自动浇水）； （2）服务器接收到数据后提取信息，将数据及其上报时间写入数据库存储历史记录，便于用于查看； （3）服务器接收到数据后从数据库中读取用户设定的阈值，对数据进行判断，如果超过或者低于阈值即发送对应指令，打开/关闭电机，或者打开/关闭开关； （4）用户端程序可以修改报警阈值； - 不懂运行，下载完可以私聊问，可远程教学 1、该资源内项目代码都经过测试运行成功，功能ok的情况下才上传的，请放心下载使用！ 2、本项目适合计算机相关专业(如计科、人工智能、通信工程、自动化、电子信息等)的在校学生、老师或者企业员工下载学习，也适合小白学习进阶，当然也可作为毕设项目、课程设计、作业、项目初期立项演示等。 3、如果基础还行，也可在此代码基础上进行修改，以实现其他功能，也可用于毕设、课设、作业等。 下载后请首先打开README.md文件（如有），仅供学习参考, 切勿用于商业用途。 --------
HDFS 读流程和写流程
04-07
HDFS的读流程和写流程如下： 写流程： 1. 客户端向NameNode发出写请求。 2. NameNode返回可用的DataNode列表。 3. 客户端选择其中一个DataNode进行写操作。 4. 客户端向选中的DataNode发送数据块。 5. DataNode将数据块写入本地磁盘，并返回写入成功的确认消息给客户端。 6. 客户端将数据块信息发送给NameNode。 7. NameNode更新元数据信息。 读流程： 1. 客户端向NameNode发出读请求。 2. NameNode返回数据块所在的DataNode列表。 3. 客户端选择其中一个DataNode进行读操作。 4. 客户端向选中的DataNode发送读取请求。 5. DataNode将数据块读取并发送给客户端。 6. 客户端接收并处理数据块。 7. 如果需要读取的数据块不在本地，会进行数据块的复制和移动操作，直到数据块被读取成功。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值