HDFS读数据流程

最新推荐文章于 2024-10-10 23:43:41 发布
最新推荐文章于 2024-10-10 23:43:41 发布
阅读量98 收藏
点赞数
分类专栏： 大数据作业 文章标签： hadoop hdfs 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_62877283/article/details/120993010
版权
本文详细介绍了HDFS（Hadoop Distributed File System）的读取数据步骤：从客户端调用open()开始，通过RPC与名称节点交互获取文件块位置，接着使用FSDataInputStream的Read()方法读取，并连接最近的数据节点进行数据流读取，逐个节点遍历直到读取完成，最后关闭数据流。这一过程展示了HDFS高效且可靠的文件读取机制。
摘要由CSDN通过智能技术生成

HDFS读数据流程

1、客户端通过分布式文件系统中的open（）函数读取所需数据。
2、Distributed File System 会通过RPC协议调用名称节点来确定请求文件块块所在位置。
3、客户端用FSDataInputream的Read（）方法读取数据。
4、连接最近的数据节点，以数据流形式读取数据。
5、关闭连接，查找下一个最近的数据节点。
6、完成读取，关闭数据流。
请添加图片描述

^极致温柔#
关注
专栏目录
HDFS读写数据流程（详细）
m0_69406980的博客
11-24 566
HDFS读写数据流程
HDFS客户端读数据流程（图解）
CaseZoecxl的博客
06-19 1628
HDFS客户端写数据是一个经典的面试题，这里简略的结合图从源码角度给大家分析一下：
HDFS写数据流程
Lin_1013的博客
10-29 181
1.客户端通过调用分布式文件系统对象中的Great（）创建文件，分布式文件系统通过RPC调用的名称节点的文件系统命名空间创建一个新文件。 2.名称节点通过验证，确保请求用户拥有权限，新的文件不存在文件系统里。验证通过时名称节点会创造一个新的文件的记录。 如果创建失败，则IOException异常。 如果成功，分布式文件系统返回文件系统数据输出给客户端写数据。这时包含了一个数据流对象，客户端使用它来处理数据和名称两个节点的通信。 3.客户端调用FSD的Write（）函数。向对应的文件写入数据。 4.
浅谈HDFS的数据读取以及写入过程
m0_52931616的博客
11-30 2216
浅谈HDFS的数据读取以及写入过程，从基本原理和编程角度两个方面讲解
HDFS读写数据流程
eli的博客
11-16 3874
5、Client请求3台中的一台DataNode 1(网络拓扑上的就近原则，如果都一样，则随机挑选一台DataNode)上传数据（本质上是一个RPC调用，建立pipeline）,DataNode 1收到请求会继续调用DataNode 2,然后DataNode 2调用DataNode 3，将整个pipeline建立完成，然后逐级返回客户端。4、NameNode返回3个DataNode服务器DataNode 1，DataNode 2，DataNode 3。2、NameNode返回是否可以上传。
HDFS 读写数据流程
程序猿进阶
06-11 2352
客户端开始往 dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以 Packet为单位，dn1收到一个 Packet就会传给 dn2，dn2传给 dn3；利用这种标记，这里给出四种距离描述，如上图所示：大家算一算每两个节点之间的距离：每一个线表示1，例如 11 到 4距离为3。对于常见情况，当复制因子为3时，HDFS的放置策略是将一个副本放在本地机架中的一个节点上，另一个放在本地机架中的另一个节点上，最后一个放在不同机架中的另一个节点上。【3】第三个副本位于不同机架，随机节点。
HDFS读写流程介绍，HDFS读数据和写数据的原理是什么？
qq_41293655的博客
12-04 1209
Client(客户端)对HDFS中的数据进行读写操作，分别是Client从HDFS中查找数据，即为Read(读)数据;Client从HDFS中存储数据，即为Write(写)数据。下面我们对HDFS的读写流程进行详细的介绍。假设有一个文件1.txt文件，大小为300M，这样就划分出3个数据块，如图1所示。 　　图1 文件划分情况 　　下面，我们借助图1所示的文件，分别讲解HDFS文件读数据和写数据的原理。 　　1.HDFS写数据原理 　　在我们把文件上传到HDFS系统中，HDFS究竟是如何存储..
HDFS客户端数据流程分析.ppt
09-29
读取数据流程 1. 客户端发起读取数据请求，请求名称节点提供文件的 block 位置信息。 2. 名称节点返回文件的 block 位置信息，包括数据块的起始位置和长度。 3. 客户端根据名称节点返回的信息，选择距离客户端最近...
HDFS的读写数据流程
LuciferLonelines的博客
11-15 441
HDFS读写数据的流程
HDFS读数据流程简述
久醉绕心弦的博客
07-10 1287
1）客户端通过向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。 2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。 3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。 4）客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。 ...
DevExpress WPF中文教程：如何解决数据更新的常见问题？
需要界面开发、IDE工具研发中文教程资料的小伙伴，记得私信我~
10-10 677
本文主要介绍如何解决使用DevExpress WPF的网格控件进行数据更新时遇到的常见问题，欢迎下载最新版组件体验！
hadoop入门
最新发布
m0_62569064的博客
10-10 572
开始认真学习大数据方向了，先大概了解一下，基于尚硅谷的视频
Error：WPF项目中使用oxyplot，错误提示命名空间中不存在“Plot”名称
Dominic_W的博客
10-07 586
在`OxyPlot.Wpf`依赖包版本为1.x时，前面示例代码中的使用方法是没有错的，但是在版本2.x之后，`Plot`类被移到了另一个库，所以当我引用的`OxyPlot.Wpf`版本为2.x时，程序会出现这个错误。
WPF中的常用控件
zhaotianff的专栏
10-10 1158
14 <DataGridComboBoxColumn SelectedItemBinding="{Binding Project}" Header="负责的项目" Width="100" ItemsSource="{Binding ProjectList}" DisplayMemberPath="{Binding ProjectName}"></DataGridComboBoxColumn>在后面介绍MVVM及绑定时，会介绍如何实现PasswordBox.Password的绑定。
Win10 IDEA连接虚拟机中的Hadoop（HDFS）
CY的博客
10-07 724
Win10 IDEA连接虚拟机中的Hadoop、HDFS
Hadoop再探讨
qq_74073844的博客
10-10 141
Hadoop的优化与发展主要体现在两个方面：1. Hadoop自身的设计与改进2. Hadoop的组件的丰富。
HDFS的读数据流程和HDFS的写数据流程
03-23
HDFS的读数据流程：客户端向NameNode请求读取文件，NameNode返回包含数据块所在DataNode的信息的元数据信息，客户端根据元数据信息向DataNode请求数据块，DataNode返回数据块给客户端。 HDFS的写数据流程：客户端向...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值