HDFS读数据流程

最新推荐文章于 2024-10-08 22:30:00 发布
最新推荐文章于 2024-10-08 22:30:00 发布
阅读量98 收藏
点赞数
分类专栏： 大数据导论作业 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_63518485/article/details/121072402
版权

HDFS读数据流程

  1. 客户端和namenode进行通信查询元数据(block所在的datanode节点),找到block所在的datanode服务器
  2. 挑选一台datanode,请求建立连接(就近原则,然后随机),请求建立socket流
  3. datanode开始发送数据(从磁盘里面读取数据放入流,以packet为单位来做校验)
  4. 客户端以packet为单位接受,首先在本地缓冲,然后写入目标文件,后面的block追加合并到这个文件,最后合成最终需要的文件。

HDFS读数据流程图

小巫…
关注
专栏目录
HDFS读写数据流程（详细）
m0_69406980的博客
11-24 566
HDFS读写数据流程
HDFS读写数据流程
eli的博客
11-16 3874
5、Client请求3台中的一台DataNode 1(网络拓扑上的就近原则，如果都一样，则随机挑选一台DataNode)上传数据（本质上是一个RPC调用，建立pipeline）,DataNode 1收到请求会继续调用DataNode 2,然后DataNode 2调用DataNode 3，将整个pipeline建立完成，然后逐级返回客户端。4、NameNode返回3个DataNode服务器DataNode 1，DataNode 2，DataNode 3。2、NameNode返回是否可以上传。
HDFS 读写数据流程
程序猿进阶
06-11 2327
客户端开始往 dn1上传第一个Block（先从磁盘读取数据放到一个本地内存缓存），以 Packet为单位，dn1收到一个 Packet就会传给 dn2，dn2传给 dn3；利用这种标记，这里给出四种距离描述，如上图所示：大家算一算每两个节点之间的距离：每一个线表示1，例如 11 到 4距离为3。对于常见情况，当复制因子为3时，HDFS的放置策略是将一个副本放在本地机架中的一个节点上，另一个放在本地机架中的另一个节点上，最后一个放在不同机架中的另一个节点上。【3】第三个副本位于不同机架，随机节点。
HDFS读数据的流程
weixin_61468669的博客
07-12 257
3.这时NameNode会把block块的位置信息返回给客户端，这时客户端会得到一个客户端会得到一个 FSDataInputStream输入流对象。2.NameNode接受到客户端的请求之后，将文件的前几个block块的位置按照其所在的DataNode与客户端的网络拓扑距离的远近进行一个排序。4.客户端会根据每个block块的位置，选择一个就近的DataNode去读取相应的block块中的内容。1.首先客户端会向NameNode发送一个请求获取下载文件的前几个block块的位置。
HDFS读取数据流程详解
amingo_ss的博客
04-30 4959
hdfs读取数据流程详解 hdfs数据读取流程的流程和写入流程是相对应的。读取的目标存储在datanode block中，那么要搞清楚hdfs读取的流程，理解hdfs写入流程是前提。 另外理解HDFS的数据读取流程除了理解hdfs交互过程外，还需要知道下面两个知识点： （1）机架感知-副本存储机制 （2）网络拓扑-节点距离计算 本文包含的主要内容： 1.hdfs读取数据流程 2.hdfs读取数据过...
Hadoop-HDFS读数据流程
m0_67125266的博客
12-14 604
HDFS读数据流程： 1.客户端像NameNode请求读取文件 2.NameNode判断客户端对该文件是否有读取权限，没有就直接报错，如果有读权限，则再校验该文件知否存在，不存在则报错，文件存在就会根据 机架感知原理和网络拓扑图返回该文件在DataNode上的block块地址信息给客户端 3.客户端根据接收到的地址信息，到对应的DataNode上读取文件 4.如果之前读取的是部分块，则读取完成后，会再次向namenode申请读取其他block块的地址信息，然后重新读取，直至所有block块全部读取
HDFS读取数据流程
qq_58732706的博客
12-21 294
HDFS读取数据流程 首先客户端发送请求到DFS，申请读取某一个文件 DFS就会取NameNode查找这个文件的信息(比如：权限，文件是否存在) 如果文件不存在，或者客户没用权限，那么就抛出指定的错误 如果文件存在，返回一个成功的状态 如果DFS接收到成功状态就会创建FileDataInputStream对象，客户端再通过这个输入流对象来读取数据 客户端会请求文件和BLK的关系，请求BLK与DataNode的关系，然后获取文件第一个Block信息,返回DataNode1 DataNode2 Data
hdfs读数据流程
ningchen_的博客
10-31 231
1.客户端先去namenode请求读取。 2.namenode提供block的位置。 3.客户端去相应的datenode寻找。 4.从datenode读取数据。
HDFS读写流程介绍，HDFS读数据和写数据的原理是什么？
qq_41293655的博客
12-04 1206
Client(客户端)对HDFS中的数据进行读写操作，分别是Client从HDFS中查找数据，即为Read(读)数据;Client从HDFS中存储数据，即为Write(写)数据。下面我们对HDFS的读写流程进行详细的介绍。假设有一个文件1.txt文件，大小为300M，这样就划分出3个数据块，如图1所示。 　　图1 文件划分情况 　　下面，我们借助图1所示的文件，分别讲解HDFS文件读数据和写数据的原理。 　　1.HDFS写数据原理 　　在我们把文件上传到HDFS系统中，HDFS究竟是如何存储..
HDFS客户端数据流程分析.ppt
09-29
读取数据流程 1. 客户端发起读取数据请求，请求名称节点提供文件的 block 位置信息。 2. 名称节点返回文件的 block 位置信息，包括数据块的起始位置和长度。 3. 客户端根据名称节点返回的信息，选择距离客户端最近...
毕设分享 基于python的搜索引擎设计与实现
HUXINY的博客
10-08 710
今天学长向大家分享一个毕业设计项目毕业设计 基于python的搜索引擎设计与实现毕业设计 基于python的搜索引擎🧿 项目分享:见文末!随着互联网和宽带上网的普及， 搜索引擎在中国异军突起， 并日益渗透到人们的日常生活中， 在互联网普及之前， 人们查阅资料首先想到的是拥有大量书籍的资料的图书馆。但是今天很多人都会选择一种更方便、 快捷、 全面、 准确的查阅方式–互联网。而帮助我们在整个互联网上快速地查找到目标信息的就是越来越被重视的搜索引擎。
大数据分析入门概述
m0_47498690的博客
10-04 2452
本文旨在为有意向学习数据分析、数据开发等大数据方向的初学者提供一个学习指南，当然如果你希望通过视频课程的方式快速入门，B站UP主戴戴戴师兄的课程质量很高，并且适合初学者快速入门。本文的目的旨在为想要了解大数据但不知道该学习什么内容的初学者介绍大数据相关的各类工具以及各项技能。后续会按照本文提到的关键字逐条更新更详细的内容以及具体案例。SQL（Structured Query Language）是一种标准化的编程语言，用于管理关系数据库管理系统（RDBMS），如MySQL、PostgreSQL、Oracle、
ElasticSearch备考 -- Search template
麦田守望者
10-02 892
查询模版，这在日常工作中用到的比较少，需要注意写法和格式，多联系参数外层需要通过双引号包裹，"{{param}}"不用包裹双引号的有：参考资料送一波福利：福利一有需要内推JD的同学，可以私信或留言，我帮您内推，流程快！！！有需要内推JD的同学，可以私信或留言，我帮您内推，流程快！！！有需要内推JD的同学，可以私信或留言，我帮您内推，流程快！！！福利二福利三。
项目管理-信息技术发展
GAVIN
10-04 605
对称加密：DES 3DES AES RC5 IEDA SM1 SM4。2）分类：PAN LAN MAN WAN 公用网 专用网。4）数据结构模型 层次模型 网状模型 关系模型。1)存储 分类：DAS FAS NAS SAN。物联网（IoT） 感知层 网络层 应用层。8） 5G 高速率 低时延 大连接。设备安全 数据安全 内容安全 行为安全。4.信息安全 保密性 完整性 可用性。3）网络协议 语法 语义 时许。5）IEEE 802 规范。6）TCP/IP 协议。4）网络标准协议 7层。
DAMA数据管理知识体系(第11章 数据仓库和商务智能)
最新发布
没有梦想的咸鱼的博客
10-08 996
文章将围绕数据仓库的构建与管理展开，探讨如何通过数据仓库实现历史数据的集中存储与分析
43页PPT | 大健康行业BI解决方案
数据矿工-数据化运营博客
10-08 160
大健康行业的BI解决方案在典型场景应用中，通过定制化的数据分析模块和角色仪表盘，为企业CXO、BU head、MKT及Sales Team等核心角色提供了全景式、精准化的业务洞察。从全渠道业绩监测到市场情报分析，从组织效能评估到营销互动跟踪，各核心场景下的数据分析应用实现了对企业运营细节的深度挖掘与实时监控，帮助企业决策者快速把握市场动态，精准定位问题，高效调整策略，推动企业经营目标层层拆解并有效执行，全面加速企业的数字化转型进程。随着数据量的激增，多源数据的归集和整合成为药企数据分析的难点。
web 和大数据的就业前景怎么样？
cd_farsight的博客
10-08 129
大数据技术是一个不断发展的领域，掌握大数据技术不仅可以帮助个人在职业生涯中取得成功，而且可以为国家和企业的决策提供科学依据，推动社会的可持续发展。未来，大数据将在更多的领域得到应用，如人工智能、物联网、区块链等，这将为大数据专业的人才提供更多的就业机会和发展空间。由于大数据技术的广泛应用和行业的不断发展，大数据专业的毕业生在就业市场上具有较高的竞争力，并且有着广泛的就业机会。综上所述，Web开发和大数据专业的就业前景都非常好，具有广阔的行业需求、多样的岗位类型、较高的薪资水平以及较大的发展空间。
分布式共识算法ZAB
wendao76的专栏
10-02 709
ZAB协议是为分布式协调服务Zookeeper专门设计的一种支持崩溃恢复和原子广播的协议。基于该协议，Zookeeper实现了一种主备模式的系统架构来保持集群中各个副本之间数据一致性。Zookeeper集群中，只有Leader服务器接受写请求，即使是Follower服务器接受到客户端的请求，也会转发给Leader服务器进行处理。
HDFS的读数据流程和HDFS的写数据流程
03-23
HDFS的读数据流程：客户端向NameNode请求读取文件，NameNode返回包含数据块所在DataNode的信息的元数据信息，客户端根据元数据信息向DataNode请求数据块，DataNode返回数据块给客户端。 HDFS的写数据流程：客户端向...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值