HDFS读数据流程

最新推荐文章于 2024-11-02 17:06:08 发布
最新推荐文章于 2024-11-02 17:06:08 发布
阅读量161 收藏
点赞数
分类专栏： 大数据导论作业 文章标签： hdfs hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_63007860/article/details/121103110
版权

HDFS读数据流程

1、客户端通过Distributed FileSystem向NameNode请求下载文件。

2、NameNode通过查询元数据，找到文件块所在的DataNode地址，返回目标文件的元数据。

3、挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。

4、DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。

5、客户端以Packet为单位接收，先在本地缓存，然后写入目标文件。

详细流程如下图所示：

kolx
关注
专栏目录
hdfs读数据流程
ningchen_的博客
10-31 242
1.客户端先去namenode请求读取。 2.namenode提供block的位置。 3.客户端去相应的datenode寻找。 4.从datenode读取数据。
HDFS读写数据流程
eli的博客
11-16 3887
5、Client请求3台中的一台DataNode 1(网络拓扑上的就近原则，如果都一样，则随机挑选一台DataNode)上传数据（本质上是一个RPC调用，建立pipeline）,DataNode 1收到请求会继续调用DataNode 2,然后DataNode 2调用DataNode 3，将整个pipeline建立完成，然后逐级返回客户端。4、NameNode返回3个DataNode服务器DataNode 1，DataNode 2，DataNode 3。2、NameNode返回是否可以上传。
HDFS读取数据的流程图
weixin_58468790的博客
08-08 297
HDFS读取数据的流程图
HDFS 读写数据流程
程序猿进阶
06-11 2571
客户端开始往 dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以 Packet为单位，dn1收到一个 Packet就会传给 dn2，dn2传给 dn3；利用这种标记，这里给出四种距离描述，如上图所示：大家算一算每两个节点之间的距离：每一个线表示1，例如 11 到 4距离为3。对于常见情况，当复制因子为3时，HDFS的放置策略是将一个副本放在本地机架中的一个节点上，另一个放在本地机架中的另一个节点上，最后一个放在不同机架中的另一个节点上。【3】第三个副本位于不同机架，随机节点。
HDFS读数据的流程
weixin_61468669的博客
07-12 265
3.这时NameNode会把block块的位置信息返回给客户端，这时客户端会得到一个客户端会得到一个 FSDataInputStream输入流对象。2.NameNode接受到客户端的请求之后，将文件的前几个block块的位置按照其所在的DataNode与客户端的网络拓扑距离的远近进行一个排序。4.客户端会根据每个block块的位置，选择一个就近的DataNode去读取相应的block块中的内容。1.首先客户端会向NameNode发送一个请求获取下载文件的前几个block块的位置。
HDFS读取数据流程详解
amingo_ss的博客
04-30 4991
hdfs读取数据流程详解 hdfs数据读取流程的流程和写入流程是相对应的。读取的目标存储在datanode block中，那么要搞清楚hdfs读取的流程，理解hdfs写入流程是前提。 另外理解HDFS的数据读取流程除了理解hdfs交互过程外，还需要知道下面两个知识点： （1）机架感知-副本存储机制 （2）网络拓扑-节点距离计算 本文包含的主要内容： 1.hdfs读取数据流程 2.hdfs读取数据过...
Hadoop-HDFS读数据流程
m0_67125266的博客
12-14 616
HDFS读数据流程： 1.客户端像NameNode请求读取文件 2.NameNode判断客户端对该文件是否有读取权限，没有就直接报错，如果有读权限，则再校验该文件知否存在，不存在则报错，文件存在就会根据 机架感知原理和网络拓扑图返回该文件在DataNode上的block块地址信息给客户端 3.客户端根据接收到的地址信息，到对应的DataNode上读取文件 4.如果之前读取的是部分块，则读取完成后，会再次向namenode申请读取其他block块的地址信息，然后重新读取，直至所有block块全部读取
HDFS读取数据流程
qq_58732706的博客
12-21 304
HDFS读取数据流程 首先客户端发送请求到DFS，申请读取某一个文件 DFS就会取NameNode查找这个文件的信息(比如：权限，文件是否存在) 如果文件不存在，或者客户没用权限，那么就抛出指定的错误 如果文件存在，返回一个成功的状态 如果DFS接收到成功状态就会创建FileDataInputStream对象，客户端再通过这个输入流对象来读取数据 客户端会请求文件和BLK的关系，请求BLK与DataNode的关系，然后获取文件第一个Block信息,返回DataNode1 DataNode2 Data
HDFS客户端数据流程分析.ppt
09-29
读取数据流程 1. 客户端发起读取数据请求，请求名称节点提供文件的 block 位置信息。 2. 名称节点返回文件的 block 位置信息，包括数据块的起始位置和长度。 3. 客户端根据名称节点返回的信息，选择距离客户端最近...
HDFS读写数据流程（详细）
m0_69406980的博客
11-24 578
HDFS读写数据流程
HDFS的数据流—HDFS写数据流程和HDFS读数据流程
安歌Object
08-14 1175
HDFS写数据流程 一、剖析文件写入 HDFS写数据流程，如图 1）客户端通过Distributed FileSystem模块向NameNode请求上传文件， NameNode检查目标文件是否已存在，父目录是否存在。 2）NameNode返回是否可以上传。 3）客户端请求第一个 block上传到哪几个datanode服务器上。 4）NameNode返回3个datanode节点，分别为...
HDFS读写流程介绍，HDFS读数据和写数据的原理是什么？
qq_41293655的博客
12-04 1223
Client(客户端)对HDFS中的数据进行读写操作，分别是Client从HDFS中查找数据，即为Read(读)数据;Client从HDFS中存储数据，即为Write(写)数据。下面我们对HDFS的读写流程进行详细的介绍。假设有一个文件1.txt文件，大小为300M，这样就划分出3个数据块，如图1所示。 　　图1 文件划分情况 　　下面，我们借助图1所示的文件，分别讲解HDFS文件读数据和写数据的原理。 　　1.HDFS写数据原理 　　在我们把文件上传到HDFS系统中，HDFS究竟是如何存储..
【Pyspark-驯化】一文搞懂Pyspark中表连接的使用技巧
志在创建优质博客、通俗易懂、助力大家提高学习效率！
08-12 1564
在数据处理和分析中，表连接（Join）是一种常用的操作，用于将两个或多个表中满足特定条件的数据行组合在一起。PySpark提供了多种连接函数，允许用户根据不同的键进行内连接、外连接、左连接和右连接。PySpark中的连接函数是处理和分析数据集的重要工具。通过本博客的代码示例，我们学习了如何使用不同的连接类型和条件来合并数据。希望这篇博客能够帮助你更好地理解PySpark中的连接操作，并将其应用于实际的数据处理任务中。
WPF+MVVM案例实战（十九）- 自定义字体图标按钮的封装与实现（EF类）
最新发布
lingshuangcanxue
11-02 107
各种类型的自定义按钮实现
Hadoop-002-部署并配置HDFS集群
smilefyou的博客
10-30 750
第一篇前期环境准备后, 本文主要是HDFS的部署完整配置, 直到搭建完成成功访问 http://hadoop-1:9870
计算机毕业设计PySpark+大模型农产品推荐系统 农产品爬虫 农产品商城 农产品大数据 农产品数据分析可视化 PySpark Hadoop
全网粉丝100W+、全栈领域优质创作者、B站、github、CSDN等社区技术专家、专注于高端精品毕业项目源码实战
10-25 1599
计算机毕业设计PySpark+大模型农产品推荐系统 农产品爬虫 农产品商城 农产品大数据 农产品数据分析可视化 PySpark Hadoop
人工智能和大数据如何改变企业？
雪兽软件
10-29 316
尽管人工智能和大数据具有显著优势，但在应用它们时也存在挑战。必须考虑伦理问题，例如隐私和人工智能算法中的潜在偏差。总之，人工智能和大数据不仅在改变公司内部的营销方式，还在改变这些实体制定战略决策的方式。这些技术能够更好地了解消费者、定制营销努力并提供量身定制的推荐，从而提高客户满意度并带来销售额的增长。适应这些创新的公司不仅将保持在竞争的前沿，还将最大限度地利用市场机会。本文转载自雪兽软件更多精彩推荐请访问雪兽软件官网。
HDFS的读数据流程和HDFS的写数据流程
03-23
HDFS的读数据流程：客户端向NameNode请求读取文件，NameNode返回包含数据块所在DataNode的信息的元数据信息，客户端根据元数据信息向DataNode请求数据块，DataNode返回数据块给客户端。 HDFS的写数据流程：客户端向...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值