3.HDFS读写流程

最新推荐文章于 2024-07-22 02:03:32 发布
最新推荐文章于 2024-07-22 02:03:32 发布
阅读量1.2k 收藏 4
点赞数
文章标签： hdfs hadoop big data
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iyak78/article/details/122135963
版权
本文详细介绍了HDFS的读写流程，包括NameNode、DataNode的角色职责，重点解析了上传文件时的pipeline传输方式及其好处，以及下载文件和NameNode与DataNode之间的通信机制。
摘要由CSDN通过智能技术生成

3.HDFS读写流程

1.HDFS基础知识
2.HDFS操作
3.HDFS读写流程
在这里插入图片描述

3.1 工作机制–角色与角色职责

主角色:NameNode(核心) 是访问HDFS的唯一入口
维护和管理文件系统元数据（名称空间目录树结构、文件和块的位置信息、访问权限等信息）

在这里插入图片描述

从角色:DataNode
负责具体的数据块存储，它的数量决定了HDFS集群的整体数据存储能力。
主角色辅助角色:SecondaryNameNode

在这里插入图片描述

3.2工作机制–上传文件流程（写文件流程）
什么事pipeline管道（传输方式）

Pipeline管道,是HDFS在上传文件写数据过程中采用的一种数据传输方式
客户端将数据块写入第一个数据节点，第一个数据节点保存数据之后再将块复制到第二个数据节点，后者保存后将其复制到第三个数据节点

pipeline传输的好处

依次传递能充分利用每个机器的带宽，避免网络瓶颈和高延迟时的连接，最小化推送所有数据的延时，所有的数据副本能在短时间内同时完成

在这里插入图片描述

核心概念–ACK应答响应（确保数据传输安全、不丢失）
ACK (Acknowledge character）即是确认字符，在数据通信中，接收方发给发送方的一种传输类控制字符。表示发来的数据已确认接收无误
在HDFS pipeline管道传输数据的过程中，传输的反方向会进行ACK校验，确保数据传输安全
⭐️扩展知识点：机架感知，运维人员通过脚本给设备编写路径以确定彼此位置

在这里插入图片描述

举例：上传一个300MB的文件
以128MB为一块进行分割，可以分成3块（128MB、128MB、44MB）   
#1、客户端向NameNode发送数据上传请求，这个请求当中包含一个重要的信息就是文件的长度信息。300MB
过程&#x
最低0.47元/天 解锁文章
敲代码的羊
关注
Hadoop之HDFS文件读写过程
大数据
05-22 2万+
一、HDFS读过程       1.1 HDFS API 读文件  Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path file = new Path("demo.txt"); FSDataInputStream inStream = fs.
前端同时传文件和对象_HDFS写文件流程（详细必看）
weixin_39851261的博客
11-28 434
HDFS（Hadoop Distributed File System）是GFS的开源实现。特点如下：能够运行在廉价机器上，硬件出错常态，需要具备高容错性流式数据访问，而不是随机读写面向大规模数据集，能够进行批处理、能够横向扩展简单一致性模型，假定文件是一次写入、多次读取缺点：不支持低延迟数据访问不适合大量小文件存储（因为每条元数据占用空间是一定的）不支持并发写入，一个文件只能有一个写入者不支持文...
HDFS数据写入流程详解
amingo_ss的博客
04-29 7011
hadoop数据写入流程详解 hadoop数据写入流程是hdfs理论框架的基础，完全理解hadoop的数据写入流程是每一个大数据从业人员的必备技能。 下面以300m文件写入hadoop2.x为例，详细讲解hadoop数据写入的详细过程。 主要包括： 1.数据写入流程图 2.数据写入相关组件 3.数据写入组件通信协议 4.hdfs通信协议 1.数据写入流程图： 数据写入过程详解： （1）客户端发送...
图解 HDFS 架构 ｜读写过程
最新发布
面向生活编程
07-22 542
每个文件的 block 大小（dfs.blocksize）和副本系数（dfs.replication）都是可配置的。ACK (Acknowledge character）即是确认字符，在数据通信中，接收方发给发送方的一种传输类控制字符。HDFS 中的文件在物理上是分块存储（block）的，块的大小可以通过配置参数来规定，参数位于 hdfs-default.xml 中：dfs.blocksize。在线性推送模式下，每台机器所有的出口宽带都用于以最快的速度传输数据，而不是在多个接受者之间分配宽带。
HDFS的读写流程 —— Hadoop权威指南4
lucyLee的博客
04-14 3025
HDFS读写流程 初始化FileSystem，client调用FileSystem对象的open()方法，打开一个HDFS文件。实际，是获取一个DistributedFileSystem实例 DistributedFileSystem通过RPC调用NameNode，获取一批文件block的位置列表。其中，每个block的副本所在的DataNode，是按照它们与客户端的距离排序的 DistributedFileSystem向客户端返回一个FSDataInpu
HDFS文件的读写操作理论解析
哆啦A梦的博客
07-05 5064
刚刚接触Hadoop，对于里面的HDFS感觉思想就是分而治之再综合的过程，不过这个分布式文件系统还是蛮厉害的。现在介绍一下它的基本原理，通俗易懂。 一、HDFS的一些基本概念： 数据块（block）：大文件会被分割成多个block进行存储，block大小默认为64MB。每一个block会在多个datanode上存储多份副本，默认是3份。namenode：namenode负责管理文件目录、文件
HDFS 读写流程
Kuzury
07-03 562
1 HDFS如上图所示，HDFS也是基于Master/Slave的结构。分NameNode、SecondaryNameNode、DataNode这几个角色。NameNode：是Master节点，是大领导。管理数据块映射；处理客户端的读写请求；配置副本策略；管理HDFS的名称空间；SecondaryNameNode：是一个小弟，分担大哥namenode的工作量；是NameNode的冷备份；合并fsim
HDFS读写流程.xmind
04-03
HDFS读写数据流程描述，脑图展示，易于理解与记忆，仅供学习使用。HDFS分布式文件系统是一个主从架构，主节点是NameNode，负责管理整个集群以及维护集群的元数据信息；从节点是DataNode，主要负责文件数据存储。
HDFS读写流程（全面深入理解）
qq_45725767的博客
10-27 3654
1、HDFS写流程   （1）客户端通过对FileSystem.create() 对象创建建文件，DistributedFileSystem会创建输出流FSDataOutputStream。   （2）DistributedFileSystem 通过RPC远程调用名称节点，在文件系统的命名空间中创建一个新的文件，此时该文件中还没有相应的数据块。   （3）名称节会执行一些检查，比如文件是否已经存在、客户端是都有权限创建文件等。检查通过后，名称节点会构造一个新文件，并添加文件信息。如果检查不通过，文件创建失败
hadoop-2.5.2:1.HDFS源码分析，代码注释参考自《 Hadoop2.x HDFS源码剖析》
03-23
3. HDFS的读写流程：在写入数据时，客户端首先与NameNode交互，确定数据块的存储位置，然后将数据分块并发送到指定的DataNode。在读取数据时，客户端同样先询问NameNode，获取数据块的位置信息，然后直接从DataNode...
HDFS读写数据流程分析.ppt
09-29
HDFS读写数据流程分析 HDFS（Hadoop Distributed File System）是一种分布式文件系统，用于存储和管理大规模数据。在HDFS中，数据读写是通过客户端与NameNode和DataNode进行交互实现的。在这里，我们将详细分析HDFS...
Hadoop-HDFS分布式文件系统基础
weixin_52972575的博客
07-20 637
Hadoop HDFS理解
hdfs 上传文件（写数据）流程
wu_cai的专栏
09-01 1640
hdfs 上传文件（写数据）流程需求：向hdfs上传 300M文件text.txt 到 /mydir 目录 注意：客户端会把300M文件切分为128M（blk_1）、128M(blk_2）、54M（blk_3）三块，切块大小需要根据hadoop的配置来，2.x以上默认是128M 1、向namenode请求上传文件 text.txt 到 hdfs的/mydir目录下 2、namenode返回允许上传
HDFS读写流程详细过程
m0_57697768的博客
05-29 9807
HDFS详细的读写流程，edit和fsimage文件的更新，WAL技术
HDFS的文件写入和文件读取流程
qq_57629191的博客
05-28 2540
Pipeline管道：Pipeline，即管道。这是 HDFS 在上传⽂件写数据过程时采⽤的⼀种数据传输⽅式。客户端将数据块写⼊第⼀个数据节点，第⼀个数据节点保存数据之后再将块复制到第⼆个数据节点，后者保存后将其复制到第三个数据节点。通俗描述 pipeline 的过程就是：Client——>DN1——>DN2—>DN3为什么 datanode 之间采⽤ pipeline 线性传输，⽽不是⼀次给三个 datanode 拓扑式传输呢？
Hadoop学习（5）-- HDFS工作流程与机制
一个人的江湖
02-18 1770
HDFS集群角色与职责 官方架构图 主角色：namenode NameNode是Hadoop分布式文件系统的核心，架构中的主角色。 NameNode维护和管理文件系统元数据，包括名称空间目录树结构、文件和块的位置信息、访问权限等信息。 基于此，NameNode成为了访问HDFS的唯一入口。 NameNode内部通过内存和磁盘文件两种方式管理元数据。 其中磁盘上的元数据文件包括Fsimage内存元数据镜像文件和edits log（Journal）编辑日志。 从角色：datanode DataNode
HDFS工作流程和机制
qq_45789558的博客
10-28 494
HDFS在上传文件写数据过程中采用的一种传输方式。在数据通信中，接受方发给发送方的一种传输类控制字符。表示发来的数据已经确认接受无误。在HDFS Pipeline管道传输数据过程中，传输的反方向会进行ACK校验，确保数据传输安全。默认副本存储策略是由指定第一块副本：优先客户端本地，否则随机第二块副本：不同于第一块副本的不同机柜第三块副本：第二块副本相同机架不同机器。
HDFS读写流程介绍，HDFS读数据和写数据的原理是什么？
qq_41293655的博客
12-04 1196
Client(客户端)对HDFS中的数据进行读写操作，分别是Client从HDFS中查找数据，即为Read(读)数据;Client从HDFS中存储数据，即为Write(写)数据。下面我们对HDFS的读写流程进行详细的介绍。假设有一个文件1.txt文件，大小为300M，这样就划分出3个数据块，如图1所示。 　　图1 文件划分情况 　　下面，我们借助图1所示的文件，分别讲解HDFS文件读数据和写数据的原理。 　　1.HDFS写数据原理 　　在我们把文件上传到HDFS系统中，HDFS究竟是如何存储..
hdfs读写流程和原理
05-23
HDFS（Hadoop Distributed File System）是Hadoop生态系统中的一部分，它是一个可伸缩的分布式文件系统，可以在大型集群中存储和处理超大型数据集。下面是HDFS的读写流程和原理： 1. 写入流程 （1）客户端向NameNode请求写入文件，NameNode返回一个DataNode列表，客户端接收到后与DataNode进行数据通信。 （2）客户端将数据划分为一个个数据块，并与DataNode建立连接，将数据块写入DataNode。 （3）DataNode接收到数据块后，先将数据写入本地磁盘，然后将数据块复制到其他DataNode上，以实现数据备份。 （4）客户端在写入完数据后，向NameNode发送文件元数据，即文件名、数据块ID、数据块所在的DataNode等信息，NameNode将这些信息保存在内存中，并更新元数据信息。 2. 读取流程 （1）客户端向NameNode请求读取文件，NameNode返回一个DataNode列表和对应的数据块位置信息。 （2）客户端与DataNode建立连接，请求数据块，DataNode将数据块返回给客户端。 （3）客户端读取完所有数据块后，将数据块组合成完整的文件。 HDFS的主要原理是数据分片和复制。HDFS将大文件划分为多个数据块，每个数据块默认大小为128MB，每个数据块会复制到多个DataNode上，以实现数据备份和容错。NameNode负责管理文件系统的元数据，包括文件名、文件目录、数据块位置等信息，而DataNode则负责数据块的存储和读写。这种分布式存储方式可以实现高可用性和高可靠性，并且可以通过增加DataNode数量来提高存储和读写性能。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值