HDFS读数据流

最新推荐文章于 2024-09-04 20:48:11 发布
最新推荐文章于 2024-09-04 20:48:11 发布
阅读量64 收藏
点赞数
分类专栏： 大数据导论作业 文章标签： 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/why0104/article/details/121084729
版权
  1. 客户端请求下载文件
  2. NameNode接受请求后看客户端要下载的文件有几个块以及每个块的副本所在的位置，然后返回目标文件的元数据
  3. 客户端发现Block1在DateNode1上面后，向DateNode1发送读数据Block1的请求
  4. DateNode1接收请求后把数据传输给客户端
  5. 传输完Block1后客户端向DateNode2发送读数据Block2的请求       
  6. DateNode2接收后传输数据给客户端

 

why0104
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【HDFS】读数据流程分析
goat的博客
12-10 1093
读数据的流程的详细分析，附带代码解读
hdfs-数据流之写入
我的博客
08-24 547
根据下图介绍HDFS的写入流程。 步骤 1. create 客户端通过对DistributedFileSystem对象调用create()方法来发起创建文件流程。 2. create DistributedFileSystem对象对namenode创建一个RPC调用，在文件系统中的命名空间中创建一个文件，此时还没有对此文件创建相应的数据块。namenode执行各种检查确保这个文件不存在以及客户端有新建该文件的权限。如果检查通过namenode就会创建这个文件并添加一条记录。否则，文件创建失败并
HDFS的数据流（读和写）
weixin_43520450的博客
04-10 758
一、HDFS写数据流程 1.剖析文件写入 1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。 2）namenode返回是否可以上传。 3）客户端请求第一个 block上传到哪几个datanode服务器上。 4）namenode返回3个datanode节点，分别为dn1、dn2、dn3。 5）客户端请求dn1上传数据，dn1收到请求会继续调用dn2...
HDFS读数据的流程
weixin_61468669的博客
07-12 248
3.这时NameNode会把block块的位置信息返回给客户端，这时客户端会得到一个客户端会得到一个 FSDataInputStream输入流对象。2.NameNode接受到客户端的请求之后，将文件的前几个block块的位置按照其所在的DataNode与客户端的网络拓扑距离的远近进行一个排序。4.客户端会根据每个block块的位置，选择一个就近的DataNode去读取相应的block块中的内容。1.首先客户端会向NameNode发送一个请求获取下载文件的前几个block块的位置。
HDFS读写数据流程
eli的博客
11-16 3857
5、Client请求3台中的一台DataNode 1(网络拓扑上的就近原则，如果都一样，则随机挑选一台DataNode)上传数据（本质上是一个RPC调用，建立pipeline）,DataNode 1收到请求会继续调用DataNode 2,然后DataNode 2调用DataNode 3，将整个pipeline建立完成，然后逐级返回客户端。4、NameNode返回3个DataNode服务器DataNode 1，DataNode 2，DataNode 3。2、NameNode返回是否可以上传。
HDFS写数据流
qq_63518252的博客
10-30 136
大部分hdfs程序对文件操作采用" 一次写多次读取”的模式 写数据过程： 简述：客户端先通知nn节点：我要写文件了，确认客户端权限和没有相同的文件以后，nn节点创建一个新的文件记录；然后把文件分成一个一个的数据块（默认大小64mb）通过文件流的方式向dn节点中写数据，写数据的时候，注意是会写冗余数据，冗余数据块默认三个；最后，只有冗余数据块全部写完，dn节点再向客户端发出确认，然后客户端向nn节点发出结束消息，并将文件的块信息存储在nn节点里面。 1：客户端调用分布式文件系统（Distribut...
HDFS读数据流程
m0_61238627的博客
11-02 182
1client向namenode请求block所在的datanode节点列表； 2client从最近位置逐个依次从datanode中读取block信息； 3整个通过io流读取的过程需要校验每个快信息； 4读取完成，关闭所有流。 首先调用FileSystem的open方法获取一个DistributedFileSystem实例； 然后DistributedFileSystem实例通过RPC在NameNode里获得文件的第一批block的locations（可能是需要读取文件的全部，也可能是一部分），同一个b
HDFS的数据流
qq_44110741的博客
09-05 99
1、HDFS写数据流程 HDFS写数据流程，如图所示: （1）client（客户端）向hdfs上传文件，首先向NameNode请求上传文件，NameNode会做一些验证，比如检查目标文件是否已存在，父目录是否存在。 （2）NameNode经过验证后，向客户端返回是否可以上传。 （3）如果客户端收到可以上传的回复，则会向namenode请求第一个 block上传到哪几个datanode服务器上。 （4）NameNode返回客户端可用的3个datanode的节点地址，分别为datanode1、datanode
分布式存储系统：HDFS：HDFS数据流读取流程.docx
09-02
分布式存储系统：HDFS：HDFS数据流读取流程.docx
10_尚硅谷大数据之HDFS的数据流1
08-03
本文将深入解析HDFS的数据流，特别是写数据和读数据的过程，以及相关的网络拓扑和机架感知策略。 4.1 HDFS 写数据流程 HDFS的写数据过程涉及多个步骤，确保数据的高效、可靠存储： 1. 客户端通过 Distributed ...
Hadoop源码分析HDFS数据流
08-21
DataXceiver 是真正处理数据流的组件，它支持六种操作：写数据块、读数据块、读数据块元文件、替换数据块、拷贝数据块和读数据块checksum。 在写数据块的过程中，客户端首先向 Namenode 申请写入文件，Namenode ...
scala读取本地hdfs,使用Scala从HDFS读取数据
weixin_29459473的博客
12-19 1045
I am new to Scala. How can I read a file from HDFS using Scala (not using Spark)?When I googled it I only found writing option to HDFS.import org.apache.hadoop.conf.Configuration;import org.apache.had...
【大数据】Canal实现MySQL数据增量同步至Kafka：原理与配置解析
最新发布
一个不断前行的程序者
09-04 701
Canal是一款开源的数据库增量日志解析组件，主要用于监控数据库数据变更，并将变更数据同步到其他存储介质。Canal通过模拟MySQL Slave的交互协议，实时获取数据库的增量更新，从而实现数据同步。本文将介绍如何使用Canal将MySQL的数据通过监听Binlog，增量发送到Kafka。Binlog（Binary Log）是MySQL数据库的二进制日志，记录了所有对数据库数据的修改操作。开启Binlog后，MySQL会实时将数据变更记录到Binlog文件中。
运维学习————kafka(1)
m0_73376570的博客
09-04 885
kafka中文文档kafka是由apache软件基金会开发的一个开源流处理框架，由JAVA和scala语言编写。是一个高吞吐量的分布式的发布和订阅消息的一个系统。Kafka用于构建实时的数据管道和流式的app.它可以水平扩展，高可用，速度快，并且已经运行在数千家公司的生产环境。
window上部署kafka3.6.1，并配置sasl认证
GSON的博客
08-29 737
1 安装kafka 第一步安装kafka,并能成功启动，可参考文章Windows下安装Kafka3-CSDN博客 2修改kafka的配置文件 server.properties是kafka的主要配置文件，里面有很多参数可以调整。 主要修改如下 listeners=SASL_PLAINTEXT://127.0.0.1:9092 security.inter.broker.protocol=SASL_PLAINTEXT sasl.enabled.mechanisms=PLAIN sasl.me
Kafka 到数据仓库：使用 bend-ingest-kafka 将消息加载到 Databend
Databend的博客
08-29 975
JSON模式：此模式解析 JSON 消息并将每个字段加载到目标表的相应列中。它将 Kafka 消息转换为与表模式直接映射的结构化格式。RAW模式：在此模式下，该工具会创建一个包含uuidkoffsetkpartitionraw_data和add_time等列的表。Kafka 消息存储在raw_data列中，并将其他元数据注入到其他列中，从而保留原始消息格式并提供有用的上下文。有关 bend-ingest-kafka 的更多详细信息，请查看README。
使用pgrs在wsl中为postgres写拓展
wangmarkqi的博客
08-30 354
使用rust写postgres拓展
高校为什么需要AIGC大数据实验室？
tipdm0301的博客
09-03 445
AIGC大数据实验室是一个专注于人工智能生成内容（AIGC）和大数据相关技术研究、开发与应用的创新实验平台。
Hadoop HDFS 数据流源码分析：DataNode 动态行为剖析
Hadoop源码分析HDFS数据流 **HDFS数据流概述** HDFS（Hadoop Distributed File System）是Hadoop系统中的分布式文件系统，负责存储和管理大规模数据。HDFS数据流是指HDFS中数据的写入、读取和传输过程。了解HDFS...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值