HDFS 读写数据的流程

最新推荐文章于 2024-06-11 05:30:00 发布
最新推荐文章于 2024-06-11 05:30:00 发布
阅读量405 收藏
点赞数
分类专栏： Hadoop 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_65136138/article/details/125799933
版权

1  数据写入剖析

 在HDFS写数据的过程中，NameNode会选择距离待上传数据最近距离的DataNode接收数据。节点距离的计算方法：

 节点距离：两个节点到达最近的共同祖先的距离总和。

   这个距离是指走了多少条路经，跟二叉树差不多，不是指物理距离。

2 HDFS读数据

 

栈溢出了
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop之HDFS文件读写过程
大数据
05-22 2万+
一、HDFS读过程       1.1 HDFS API 读文件  Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path file = new Path("demo.txt"); FSDataInputStream inStream = fs.
HDFS读写数据流程
liu_yu_ran的博客
09-12 161
1.数据读取流程 1)客户端通过DistributedFileSystem模块向NameNode请求下载文件。 2)NameNode通过查询元数据，找到文件每一个Block块所在的DataNode地址，将其返回给客户端。 3)客户端挑选一台DataNode(就近原则)服务器，请求读取数据。 4)DataNode将客户端所需的Block从磁盘里面读取出来，以Packet为单位来做校验，如果校验失败则通知 客户端，客户端会重新向存有此Block副本的其他DataNode发送读取请求。校验成功
HDFS 读写数据流程
最新发布
程序猿进阶
06-11 2180
客户端开始往 dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以 Packet为单位，dn1收到一个 Packet就会传给 dn2，dn2传给 dn3；利用这种标记，这里给出四种距离描述，如上图所示：大家算一算每两个节点之间的距离：每一个线表示1，例如 11 到 4距离为3。对于常见情况，当复制因子为3时，HDFS的放置策略是将一个副本放在本地机架中的一个节点上，另一个放在本地机架中的另一个节点上，最后一个放在不同机架中的另一个节点上。【3】第三个副本位于不同机架，随机节点。
hadoop集群读、写数据的流程
热门推荐
诗水人间
10-24 12万+
1）客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。 2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。 3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。 4）客户端以Packet为单位接收，先在本地缓...
HDFS读写数据流程分析.ppt
09-29
HDFS读写数据流程分析 HDFS（Hadoop Distributed File System）是一种分布式文件系统，用于存储和管理大规模数据。在HDFS中，数据读写是通过客户端与NameNode和DataNode进行交互实现的。在这里，我们将详细分析HDFS...
HDFS读写数据流程（详细）
m0_69406980的博客
11-24 552
HDFS读写数据流程
HDFS读写流程.xmind
04-03
HDFS读写数据流程描述，脑图展示，易于理解与记忆，仅供学习使用。HDFS分布式文件系统是一个主从架构，主节点是NameNode，负责管理整个集群以及维护集群的元数据信息；从节点是DataNode，主要负责文件数据存储。
HDFS读数据流程
m0_63061877的博客
10-30 140
过程： 1.客户端通过调用DFS系统对象中的Open()函数读取数据 2.DFS通过调用名称节点确定请求文件所在的位置。（名称节点不会全部返回） 3.客户端利用FSD的Read（）读取数据 4.FSD连接保存此文件第一个数据块的最近的数据节点，并读取数据，客户端多次调用Read（），直到到达数据块结束位置 5.第一个块读取完毕时，DFSD会关闭连接，并查找存储下一个数据节点 6.完成所有文件的读取后，DFSD调用Close()函数关闭数据流 ...
HDFS的读写数据流程
qq_39682761的博客
03-20 357
Hdfs的写数据流程 1、使用HDFS提供的客户端Client，向远程的Namenode发起RPC请求 2、Namenode会检查要创建的文件是否已经存在，创建者是否有权限进行操作，成功则会为文件创建一个记录，否则会让客户端抛出异常； 3、当客户端开始写入文件的时候，客户端会将文件切分成多个packets，并在内部以数据队列“data queue（数据队列）”的形式管理这些packets，并向Na...
HDFS读写数据流程详解与分布式环境下的字节流操作
HDFS读写数据流程涉及客户端与服务器之间的连接管理、数据块定位、异步和同步读取策略以及数据缓存，这些都是为了在大规模分布式环境中提供高性能和容错性。理解这些细节对于开发和优化基于HDFS的应用至关重要。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值