HDFS读写文件流程

最新推荐文章于 2024-06-24 22:53:05 发布
最新推荐文章于 2024-06-24 22:53:05 发布
阅读量114 收藏
点赞数
分类专栏： Hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_43386754/article/details/114049604
版权
本文详细介绍了HDFS（Hadoop Distributed File System）的文件读取和写入过程。在读取时，客户端首先向NameNode请求文件元数据，然后根据返回的块路径从DataNode读取数据并组装文件。而在写文件时，文件被拆分成64M的块，选择可用的DataNode存储，并通过流水线复制确保数据冗余。最后，NameNode更新元数据以保持集群状态。
摘要由CSDN通过智能技术生成
  • HDFS读取文件流程
  1. 客户端发送读取文件请求到NameNode
  2. NameNode返回元数据(文件名,块路径)给客户端
  3. 客户端根据元数据读取对应的数据块,然后将数据库组装得到文件

在这里插入图片描述

  • HDFS写文件流程
  1. 将文件拆分成多个块(Block,每个block大小为64M)
  2. 返回可用的DataNode
  3. 将块写入DataNode
  4. 进行流水线复制,将块复制到其他DataNode
  5. 更新元数据

在这里插入图片描述

{[("青椒盖饭")]}
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
hfds_HFDS的数据写入流程
weixin_36322984的博客
03-06 1067
1.HFDS的数据写入流程的基本参数首先了解数据写入过程中，什么是block， packet， chunk1.block：数据块，当上传的文件太大时， 就需要分块，一个块默认设置时128M, 在客户端完成切割操作。数据块block也不是一次性传送到 DataNode中，在客户端向DataNode传送数据文件时，是分成一个一个的packet的每个packet默认64KB。所以从客户端到第一个结点，第...
hdfs读写文件流程
qq_27587659的博客
03-18 236
HDFS写文件流程 写详细步骤： 1.客户端hdfsclient创建FileSystem向NameNode发出写文件的请求(请求创建文件的元信息)。 2.NameNode响应上传文件的元信息：可写的DataNode列表{文件名:数据.txt ；路径：/abc；数据块：2；数据块1：{dn1.1},{dn2.2}；数据块2：{dn2.1},{dn3.2}}。 3.client创建FSDat...
HDFS读写流程详细过程
m0_57697768的博客
05-29 9410
HDFS详细的读写流程，edit和fsimage文件的更新，WAL技术
详解hdfs读写文件流程
sun_0128的博客
07-04 7295
一.hdfs写数据流程 hdfs dfs -put 要上传的文件的路径 hdfs路径 1.客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件,NameNode 检查目标文件是否已存在，父目录是否存在。 2.NameNode 返回是否可以上传。不能上传的话会抛出异常。 3.确定可以上传，客户端请求第一个 block 上传到哪几个 datanode 服务器上。 4.NameNode 返回 3 个 datanode 节点，假定分别为 dn1、dn2、dn3。 5.
HDFS 读写文件流程详解
程序员学习圈
06-28 882
第一，对大数据的处理分析正成为新一代信息技术融合应用的结点。移动互联网，物联网，社交网络，数字家庭，电子商务等是新一代信息技术的应用形态，这些应用不断产生大数据。云计算为这些海量，多样化的大数据提供存储和运算平台。通过对不同来源数据的管理，处理，分析与优化，将结果反馈到上述应用中，将创造出巨大的经济和社会价值。大数据具有催生社会变革的能量。但释放这种能量，需要严谨的数据治理，富有洞见的数据分析和激...
HDFS读写数据流程
eli的博客
11-16 3847
5、Client请求3台中的一台DataNode 1(网络拓扑上的就近原则，如果都一样，则随机挑选一台DataNode)上传数据（本质上是一个RPC调用，建立pipeline）,DataNode 1收到请求会继续调用DataNode 2,然后DataNode 2调用DataNode 3，将整个pipeline建立完成，然后逐级返回客户端。4、NameNode返回3个DataNode服务器DataNode 1，DataNode 2，DataNode 3。2、NameNode返回是否可以上传。
HDFS读写文件流程详解
放肆桀骜
04-09 1127
一、 HDFS读文件流程         1、客户端通过FileSystem对象的open方法打开希望读取的文件，DistributedFileSystem对象通过RPC调用namenode，以确保文件起始位置。对于每个block，namenode返回存有该副本的datanode地址。这些datanode根据它们与客户...
【HDFS】读写流程
qq_70770395的博客
03-15 424
2.6
000005 - HDFS 读写流程
张--小涛涛
06-24 1096
（7） 客户端开始往dn1 上传第一个Block （先从磁盘读取数据放到一个本地内存缓存），以 Packet 为单位，dn1 收到一个 Packet 就会传给 dn2，dn2 传给 dn3；（5）客户端通过 FSDataOutputStream 模块请求dn1 上传数据，dn1 收到请求会继续调用dn2，然后dn2 调用dn3，将这个通信管道建立完成。那么这个最近距离怎么计算呢？（8）当一个Block 传输完成之后，客户端再次请求NameNode 上传第二个Block 的服务器（重复执行 3-7 步）。
HDFS读写流程.xmind
04-03
HDFS读写数据流程描述，脑图展示，易于理解与记忆，仅供学习使用。HDFS分布式文件系统是一个主从架构，主节点是NameNode，负责管理整个集群以及维护集群的元数据信息；从节点是DataNode，主要负责文件数据存储。
HDFS读写数据流程分析.ppt
09-29
HDFS读写数据流程分析 HDFS（Hadoop Distributed File System）是一种分布式文件系统，用于存储和管理大规模数据。在HDFS中，数据读写是通过客户端与NameNode和DataNode进行交互实现的。在这里，我们将详细分析HDFS...
HDFS文件读写操作
10-11
通过以上详细的步骤介绍，我们可以清晰地了解到HDFS中文件读写的基本流程。这些流程确保了数据在分布式环境下的高效、可靠传输。对于初学者而言，理解这些基本概念对于深入学习Hadoop及其生态系统至关重要。
Hadoop技术HDFS数据读写流程共7页.pdf.zip
11-21
在IT行业中，Hadoop是一个广泛...由于文件" Hadoop技术HDFS数据读写流程共7页.pdf "未提供具体细节，以上内容是对一般HDFS读写流程的概述。实际文档可能包含更深入的技术细节，例如数据校验、流控制、故障恢复等机制。
hdfs-文件读写测试
10-23
### HDFS 文件读写原理详解 #### 一、HDFS 写入原理 HDFS (Hadoop Distributed File System) 是一种分布式文件系统，主要用于存储大量数据。为了保证数据的可靠性和高可用性，HDFS 采用了多副本机制，通常每个文件...
例6-1 获取区域的面积和中线点特征实例.hdev
08-22
例6-1 获取区域的面积和中线点特征实例.hdev
啊打发士大夫是asdf士大夫撒地方士大夫
最新发布
08-22
a's'd'f
12有一个数组arr，其中只有一种数出现了K次，其余所有的数都都出现了M次 .zip
08-22
12有一个数组arr，其中只有一种数出现了K次，其余所有的数都都出现了M次。
qt设计的一个小桌面助手.zip
08-22
项目工程资源经过严格测试可直接运行成功且功能正常的情况才上传，可轻松copy复刻，拿到资料包后可轻松复现出一样的项目，本人系统开发经验充足（全栈开发），有任何使用问题欢迎随时与我联系，我会及时为您解惑，提供帮助 【资源内容】：项目具体内容可查看/点击本页面下方的*资源详情*，包含完整源码+工程文件+说明（若有）等。【若无VIP，此资源可私信获取】 【本人专注IT领域】：有任何使用问题欢迎随时与我联系，我会及时解答，第一时间为您提供帮助 【附带帮助】：若还需要相关开发工具、学习资料等，我会提供帮助，提供资料，鼓励学习进步 【适合场景】：相关项目设计中，皆可应用在项目开发、毕业设计、课程设计、期末/期中/大作业、工程实训、大创等学科竞赛比赛、初期项目立项、学习/练手等方面中 可借鉴此优质项目实现复刻，也可基于此项目来扩展开发出更多功能 #注 1. 本资源仅用于开源学习和技术交流。不可商用等，一切后果由使用者承担 2. 部分字体及插图等来自网络，若是侵权请联系删除，本人不对所涉及的版权问题或内容负法律责任。收取的费用仅用于整理和收集资料耗费时间的酬劳 3. 积分资源不提供使用问题指导/解答
hdfs读写流程和原理
05-23
下面是HDFS的读写流程和原理： 1. 写入流程 （1）客户端向NameNode请求写入文件，NameNode返回一个DataNode列表，客户端接收到后与DataNode进行数据通信。 （2）客户端将数据划分为一个个数据块，并与DataNode...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值