HDFS 读取流程

最新推荐文章于 2024-01-11 17:30:29 发布
最新推荐文章于 2024-01-11 17:30:29 发布
阅读量136 收藏
点赞数
分类专栏： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u013929107/article/details/113774505
版权

先看图
在这里插入图片描述
在这里插入图片描述

通过物理距离返回排序列表

HDFS客户端要读取数据首先必须和nameNode 建立连接，获取dataNode信息。
nameNode会根据客户端的物理地址返回一个由近到远的块地址列表。
客户端拿到列表后和最近的进行连接读取数据

注意点

HDFS中块是由一个完整的文件分成多个块，而每个块可能保存在不同机架上。
每个块中除了数据还保存了所在文件的偏移量。
所以读取到不同的块后可以再组成一个完整的文件。

数据可靠性

如何判断块是可靠的？
每个块都由一个通过计算得到的code，这是在写入的时候就计算好的。读取后根据这个块还会计算一遍，如果2者相同则表示可靠，否则表示异常。
客户端会再去其他dataNode中读取一遍

狼与自由
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS读数据流程
zhangleilei_的博客
12-05 955
（1）客户端给NameNode发起文件下载请求 （2）NameNode进行两项检查（1.检查用户是否有权限下载2.检查文件是否存在）
HDFS读取和写入数据简介
01-07
读取流程 客户端发起读取请求时，首先与 NameNode 进行连接。 连接建立完成后，客户端会请求读取某个文件的某一个数据块。NameNode 在内存中进行检索，查看是否有对应的文件及文件块，若没有则通知客户端对应文件或...
Hadoop HDFS 读写流程
lucklilili
08-16 293
客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件，NameNode 检查目标文件是否已存在，父目录是否存在。 NameNode 返回是否可以上传。 客户端请求第一个 Block 上传到哪几个 DataNode 服务器上。 NameNode 返回 3 个 DataNode 节点，分别为 dn1、dn2、dn3。 （5）客户端通过 FSDataOutputStream 模块请求 dn1 上传数据，dn1 收到请求会继续调用dn2，然后 dn2 调用 ...
HDFS读取流程
weixin_72036027的博客
02-09 446
hdfs文件读取
HDFS的读取流程
weixin_44658095的博客
05-20 323
HDFS的读取流程 今天我们来说一下HDFS的读取流程是什么样的，首先我们来看一张图片 这里我们可以清楚的看到HDFS的读取流程共分以下几步： 第一步：客户端向NN申请要读取的文件的block块的位置信息列表 第二步：NN根据情况向客户端返回全部或者一部分block块所在DN的位置信息列表，这个列表是经过排序以后返回的，排序的规则有以下两种：首先根据机架感知原理，距离越靠近客户端的排名越靠前；其次，根据NN与DN之间的心跳机制，汇报超时的DN地址的排名会靠后 第三步：客户端会根据读取到的block位置信息
HDFS数据读取流程
lxpqxl的博客
11-08 1612
1:Client 发起文件读取请求，通过 RPC 与 NameNode 建立通讯,NameNode检查目标文件，来确定请求文件 block块的位置信息 2:NameNode会视情况返回文件的部分或者全部block块列表，对于每个block块，NameNode 都会返回含有该 block副本的 DataNode 地址 3:这些返回的 DataNode 地址，会按照集群拓扑结构得出 DataNod...
hdfs读取文件
08-25
hdfs读取文件详细流程，绝对真实！
HDFS操作流程+代码操作HDFS
01-07
读流程 客户端发起RPC请求访问NameNode namenode会查询元数据，找到这个文件的存储位置对应的数据块信息 namenode将文件对应的数据块的节点地址全部或者部分放入一个队列中然后返回 client收到这个数据块对应的节点...
HDFS的读取数据过程详解 + Java代码实现
01-20
现在，让我们深入了解一下HDFS的读取流程： 1. **客户端初始化**：客户端创建`Configuration`对象，设置HDFS的访问地址和实现类。 2. **连接NameNode**：客户端使用`FileSystem.get(conf)`连接到NameNode，获取文件...
【HDFS篇06】HDFS数据读写流程1
08-04
在分布式文件系统HDFS（Hadoop Distributed File System）中，数据的读写流程是其核心功能之一，确保了数据的安全性和高效性。本篇文章主要探讨HDFS的数据读写流程，特别是写数据的过程。 首先，我们关注HDFS的写...
HDFS读写流程&NameNode;工作机制流程图原件
10-16
HDFS读写流程&NameNode;工作机制流程图原件，用于修改和调整
HDFS文件读写操作
10-11
本文档是关于hadoop中HDFS的文件读写操作的一份ppt,适用于学习hadoop新手.
HDFS存储的机制之HDFS读写流程
Ahuuua的博客
05-03 789
转载于作者：tracy_668 链接：https://www.jianshu.com/p/12047b780595 写流程 1. HDFS提供的客户端Client，向远程的Namenode发起RPC请求。 2. Namenode会检查要创建的文件是否已经存在，创建者是否有权限进行操作。 成功则会文件创建一个记录，否则会让客户端抛出异常。 3. (a)当客户端C...
Hadoop-HDFS读流程（从输入命令到回显）
最新发布
lu070828的博客
01-11 1432
因此需要知道这个文件对应的了多少块（包括副本）都在什么哪些节点上以及节点的哪些目录中（那就需要请求NameNode），通过机架感知找到离Client节点最近的文件对应的每个块，然后依次发起读请求（请求DataNode），最后合成结果文件即可。FSNamesystem处已经写了块信息列表是按照和客户端的距离排好序的，这里剔除了坏块DataNode信息和需要忽略的DataNode，然后取列表中的最后一个DataNode来做为最终的DataNode，如果找不到就报告块丢失）
hdfs读过程
one-piece-luka的博客
10-29 1179
具体流程如下： 1）hdfs客户端初始化FileSystem，并调用FileSystem的open方法， 2）客户端的FileSystem通过hdaoop内置的rpc，获取文件的block所分布数据节点的信息； 3）FileSystem返回FSDataInputStream对象给hdfs客户端，客户端调用 FSDataInputStream的read方法读取数据； 4）FSDataInputStream读取当前文件所在的最近Datanode的数据，读取到客户端， 5）当前数据块读取完毕后，FSDataIn.
HDFS读取文件的整体流程概述
meilong_whpu的专栏
11-03 1279
读取HDFS的整体流程图如下，下面根据此图对整个操作进行大致介绍                      1.调用DistributedFileSystem.open(Path path, int bufferSize)方法，主要完成初始化DFSInputStream对象的工作，并将DFSInputStream对象作为参数初始化DFSClient.DFSDataInputStrea
图解: HDFS的文件读取流程
王傲旗的大数据之路
11-04 4980
读取之前: 第一步:调用open()方法 第二步:向NameNode请求文件块的位置 第三步:NameNode返回给客户端文件块的位置 第四步:调用read()方法 第五步:读取数据 第六步:继续询问后续block块信息的位置 然后重复第四,第五步骤… ...
HDFS的数据读取流程是怎样的？请描述数据读取的过程。
jakelihua
09-06 1326
综上所述，HDFS的数据读取流程包括客户端发起读取请求、主节点处理请求、客户端获取数据块位置信息、客户端与数据节点建立连接、客户端发送读取请求给数据节点、数据节点读取数据块、客户端接收数据块、客户端处理数据块、客户端继续读取和读取完成等步骤。客户端继续读取：如果需要读取的数据跨越多个数据块，客户端会继续向下一个数据节点发送读取请求，重复步骤6-8，直到读取完所有需要的数据。客户端发送读取请求给数据节点：客户端向数据节点发送读取请求，请求包含要读取的数据块的标识符和偏移量等信息。
HDFS文件读写流程
czxylzl的博客
11-04 2077
DateNode作用 1.执行数据的读写（响应的是客户端） 2.周期性向NameNode做汇报（数据块的信息，校验和） 若datanode10分钟没有向NameNode做汇报，表示已丢失（已宕机） 心跳周期 3秒 3.执行流水线的复制（一点一点复制） ...
hdfs 读取文件数据
06-06
Hadoop分布式文件系统（HDFS）是一种可扩展的，分布式的文件系统，能够高效地存储和处理大规模数据。HDFS可以分布式地存储和管理文件，支持大量的节点和文件，并且具有高可用性和可靠性。 在HDFS中读取文件数据，一般流程如下： 1. 确定要读取的文件路径。可以使用Hadoop客户端命令hdfs dfs -ls命令查看文件路径。 2. 使用Hadoop API中的FileSystem类获取文件系统对象。可以使用如下代码： Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); 3. 使用FileSystem对象打开要读取的文件，并创建InputStream对象进行读取。可以使用如下代码： Path path = new Path("/文件路径"); FSDataInputStream inputStream = fs.open(path); 4. 使用InputStream对象读取数据。可以使用如下代码： byte[] buf = new byte[1024]; while (inputStream.read(buf) != -1) { // 对数据进行处理 } 5. 最后要关闭InputStream对象和FileSystem对象。可以使用如下代码： inputStream.close(); fs.close(); 需要注意的是，在读取数据的过程中，如果数据量较大，可以使用分块读取和多线程读取等技术，以提高读取效率和可靠性。同时也需要保证读取的数据在处理中不会被覆盖或修改，以避免数据丢失或错误。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值