HDFS读数据流程

最新推荐文章于 2022-12-14 11:51:51 发布
最新推荐文章于 2022-12-14 11:51:51 发布
阅读量503 收藏
点赞数
分类专栏： 大数据导论作业 文章标签： hdfs hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_61730494/article/details/120981464
版权

 只需用两个dn

1.Client请求下载文件

2.Nn需要看一下要下载的文章在哪里，给Client返回这个数据

3.Client要一个块一个块的下载所以给dn1发送读数据blk1的请求

4.dn1收到后给Client传输数据。

5.Client再给dn2发送读数据blk2的请求

6.dn2再给Client传输数据
 

m0_61730494
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS读写数据流程（详细）
m0_69406980的博客
11-24 540
HDFS读写数据流程
HDFS读写数据流程
eli的博客
11-16 3837
5、Client请求3台中的一台DataNode 1(网络拓扑上的就近原则，如果都一样，则随机挑选一台DataNode)上传数据（本质上是一个RPC调用，建立pipeline）,DataNode 1收到请求会继续调用DataNode 2,然后DataNode 2调用DataNode 3，将整个pipeline建立完成，然后逐级返回客户端。4、NameNode返回3个DataNode服务器DataNode 1，DataNode 2，DataNode 3。2、NameNode返回是否可以上传。
HDFS读取数据流程详解
amingo_ss的博客
04-30 4871
hdfs读取数据流程详解 hdfs数据读取流程的流程和写入流程是相对应的。读取的目标存储在datanode block中，那么要搞清楚hdfs读取的流程，理解hdfs写入流程是前提。 另外理解HDFS的数据读取流程除了理解hdfs交互过程外，还需要知道下面两个知识点： （1）机架感知-副本存储机制 （2）网络拓扑-节点距离计算 本文包含的主要内容： 1.hdfs读取数据流程 2.hdfs读取数据过...
Hadoop-HDFS读数据流程
m0_67125266的博客
12-14 587
HDFS读数据流程： 1.客户端像NameNode请求读取文件 2.NameNode判断客户端对该文件是否有读取权限，没有就直接报错，如果有读权限，则再校验该文件知否存在，不存在则报错，文件存在就会根据 机架感知原理和网络拓扑图返回该文件在DataNode上的block块地址信息给客户端 3.客户端根据接收到的地址信息，到对应的DataNode上读取文件 4.如果之前读取的是部分块，则读取完成后，会再次向namenode申请读取其他block块的地址信息，然后重新读取，直至所有block块全部读取
HDFS读取数据流程
qq_58732706的博客
12-21 275
HDFS读取数据流程 首先客户端发送请求到DFS，申请读取某一个文件 DFS就会取NameNode查找这个文件的信息(比如：权限，文件是否存在) 如果文件不存在，或者客户没用权限，那么就抛出指定的错误 如果文件存在，返回一个成功的状态 如果DFS接收到成功状态就会创建FileDataInputStream对象，客户端再通过这个输入流对象来读取数据 客户端会请求文件和BLK的关系，请求BLK与DataNode的关系，然后获取文件第一个Block信息,返回DataNode1 DataNode2 Data
hdfs读数据流程
ningchen_的博客
10-31 195
1.客户端先去namenode请求读取。 2.namenode提供block的位置。 3.客户端去相应的datenode寻找。 4.从datenode读取数据。
【HDFS】读数据流程分析
goat的博客
12-10 1066
读数据的流程的详细分析，附带代码解读
HDFS读取和写入数据简介
01-07
HDFS 的文件访问机制为流式访问机制，即通过 API 打开文件的某个数据块之后，可以顺序读取或者写入某个文件。由于 HDFS 中存在多个角色，且对应的应用场景主要为一次写入、多次读取的场景，因此其读和写的方式有较大...
HDFS客户端数据流程分析.ppt
09-29
读取数据流程 1. 客户端发起读取数据请求，请求名称节点提供文件的 block 位置信息。 2. 名称节点返回文件的 block 位置信息，包括数据块的起始位置和长度。 3. 客户端根据名称节点返回的信息，选择距离客户端最近...
Hadoop技术HDFS数据读写流程共7页.pdf.zip
11-21
Mapper阶段从HDFS读取数据，处理后生成中间结果，Reducer阶段再次从HDFS读取这些中间结果并进行聚合，最后将结果写回HDFS。 总之，HDFS的数据读写流程是Hadoop生态系统中的关键环节，理解这一流程对于优化大数据...
【HDFS篇06】HDFS数据读写流程1
08-04
接下来，我们讨论HDFS的读数据流程： 1. **请求文件信息**：客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode根据文件的元数据，返回文件Block所在的DataNode地址。 2. **选择DataNode**：...
ＨＤＦＳ　的读写数据流程：
06-06
HDFS的读写数据流程是其核心组件，通过NameNode和DataNode的交互来实现数据的读取和写入。HDFS的依赖项和配置项是其正常运作的基础。本文对HDFS的读写数据流程进行了详细的解释，有助于读者更好地理解HDFS的工作原理...
HDFS的读取数据过程详解 + Java代码实现
01-20
在Hadoop分布式文件系统...这段Java代码展示了HDFS读取文件的基本流程，通过配置、实例化、打开文件、读取数据和关闭资源等步骤，演示了如何从HDFS中读取数据。在实际应用中，可以根据需要进行错误处理和性能优化。
Kafka hdfs flume 数据采集实验
最新发布
11-17
在这个实验中，Flume 可能被配置为Kafka消费者，从Kafka中读取数据，并将其存储到HDFS中。 Hadoop Distributed File System (HDFS) 是Hadoop生态系统中的分布式文件系统。HDFS设计为跨多台机器存储大规模数据，提供...
09.HDFS工作机制--户端从HDFS读数据的流程.mp4
04-29
09.HDFS工作机制--户端从HDFS读数据的流程.mp4
HDFS操作流程+代码操作HDFS
01-07
读流程 客户端发起RPC请求访问NameNode namenode会查询元数据，找到这个文件的存储位置对应的数据块信息 namenode将文件对应的数据块的节点地址全部或者部分放入一个队列中然后返回 client收到这个数据块对应的节点...
HDFS详解②
01-20
### 4.2 HDFS读数据流程 1. 客户端通过Distributed FileSystem向NameNode请求文件下载，NameNode提供包含文件Block位置的DataNode列表。 2. 客户端选择一个DataNode开始读取，通常选择离自己最近的。 3. 选定的...
HDFS的读数据流程和HDFS的写数据流程
03-23
HDFS的读数据流程：客户端向NameNode请求读取文件，NameNode返回包含数据块所在DataNode的信息的元数据信息，客户端根据元数据信息向DataNode请求数据块，DataNode返回数据块给客户端。 HDFS的写数据流程：客户端向...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值