HDFS读数据流程

最新推荐文章于 2024-08-14 16:42:19 发布
最新推荐文章于 2024-08-14 16:42:19 发布
阅读量75 收藏
点赞数
分类专栏： 大数据导论 文章标签： hdfs hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Dxm234/article/details/121089508
版权

1读取文件名称。

2.向名称节点获取文件第一批数据块的位置。

3.通过分布式文件系统调用数据来获取位置，数据块根据副本返回数返回对应数量的位置数

4.获取距离clinet最近的数据节点建立通信，数据会源源不断的写入clinet,假设第一个数据块读写完成，则会进入下一个数据块，如果所有块读完，则数据流关闭

5.如果读取中出现异常，则会先去优先读第二个位置的数据节点

 

Dxm234573
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
HDFS读写数据流程
eli的博客
11-16 3846
5、Client请求3台中的一台DataNode 1(网络拓扑上的就近原则，如果都一样，则随机挑选一台DataNode)上传数据（本质上是一个RPC调用，建立pipeline）,DataNode 1收到请求会继续调用DataNode 2,然后DataNode 2调用DataNode 3，将整个pipeline建立完成，然后逐级返回客户端。4、NameNode返回3个DataNode服务器DataNode 1，DataNode 2，DataNode 3。2、NameNode返回是否可以上传。
HDFS读取数据流程详解
amingo_ss的博客
04-30 4887
hdfs读取数据流程详解 hdfs数据读取流程的流程和写入流程是相对应的。读取的目标存储在datanode block中，那么要搞清楚hdfs读取的流程，理解hdfs写入流程是前提。 另外理解HDFS的数据读取流程除了理解hdfs交互过程外，还需要知道下面两个知识点： （1）机架感知-副本存储机制 （2）网络拓扑-节点距离计算 本文包含的主要内容： 1.hdfs读取数据流程 2.hdfs读取数据过...
Hadoop-HDFS读数据流程
m0_67125266的博客
12-14 595
HDFS读数据流程： 1.客户端像NameNode请求读取文件 2.NameNode判断客户端对该文件是否有读取权限，没有就直接报错，如果有读权限，则再校验该文件知否存在，不存在则报错，文件存在就会根据 机架感知原理和网络拓扑图返回该文件在DataNode上的block块地址信息给客户端 3.客户端根据接收到的地址信息，到对应的DataNode上读取文件 4.如果之前读取的是部分块，则读取完成后，会再次向namenode申请读取其他block块的地址信息，然后重新读取，直至所有block块全部读取
HDFS读取数据流程
qq_58732706的博客
12-21 283
HDFS读取数据流程 首先客户端发送请求到DFS，申请读取某一个文件 DFS就会取NameNode查找这个文件的信息(比如：权限，文件是否存在) 如果文件不存在，或者客户没用权限，那么就抛出指定的错误 如果文件存在，返回一个成功的状态 如果DFS接收到成功状态就会创建FileDataInputStream对象，客户端再通过这个输入流对象来读取数据 客户端会请求文件和BLK的关系，请求BLK与DataNode的关系，然后获取文件第一个Block信息,返回DataNode1 DataNode2 Data
hdfs读数据流程
ningchen_的博客
10-31 198
1.客户端先去namenode请求读取。 2.namenode提供block的位置。 3.客户端去相应的datenode寻找。 4.从datenode读取数据。
【HDFS】读数据流程分析
goat的博客
12-10 1082
读数据的流程的详细分析，附带代码解读
HDFS读写数据流程（详细）
m0_69406980的博客
11-24 550
HDFS读写数据流程
HDFS读取和写入数据简介
01-07
HDFS 的文件访问机制为流式访问机制，即通过 API 打开文件的某个数据块之后，可以顺序读取或者写入某个文件。由于 HDFS 中存在多个角色，且对应的应用场景主要为一次写入、多次读取的场景，因此其读和写的方式有较大...
HDFS客户端数据流程分析.ppt
09-29
读取数据流程 1. 客户端发起读取数据请求，请求名称节点提供文件的 block 位置信息。 2. 名称节点返回文件的 block 位置信息，包括数据块的起始位置和长度。 3. 客户端根据名称节点返回的信息，选择距离客户端最近...
Hadoop技术HDFS数据读写流程共7页.pdf.zip
11-21
Mapper阶段从HDFS读取数据，处理后生成中间结果，Reducer阶段再次从HDFS读取这些中间结果并进行聚合，最后将结果写回HDFS。 总之，HDFS的数据读写流程是Hadoop生态系统中的关键环节，理解这一流程对于优化大数据...
HDFS读写数据流程分析.ppt
09-29
HDFS读写数据流程分析 HDFS（Hadoop Distributed File System）是一种分布式文件系统，用于存储和管理大规模数据。在HDFS中，数据读写是通过客户端与NameNode和DataNode进行交互实现的。在这里，我们将详细分析HDFS...
【HDFS篇06】HDFS数据读写流程1
08-04
接下来，我们讨论HDFS的读数据流程： 1. **请求文件信息**：客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode根据文件的元数据，返回文件Block所在的DataNode地址。 2. **选择DataNode**：...
C# WPF入门学习主线篇（七）—— Label常见属性和事件
weixin_56595425的博客
06-07 1947
在《C# WPF入门学习主线篇（七）—— Label常见属性和事件》一文中，我们详细探讨了 WPF 中 `Label` 控件的常见属性和事件，包括 `Content`、`FontSize`、`Foreground`、`Background` 等属性，以及 `MouseEnter`、`MouseLeave`、`MouseDown` 和 `KeyDown` 等事件。通过丰富的示例代码，本文帮助读者掌握如何自定义 `
sar--系统活动报告工具
weixin_39789796的博客
08-12 160
kbcommit，表示当前系统负载需要的内存。它实际上是为了保证系统内存不溢出，对需要内存的估计值。%commit，就是这个值相对总内存的百分比。sar 是一个系统活动报告工具，既可以实时查看系统的当前活动，又可以配置保存和报告历史统计数据。注：PPS、吞吐量、网络接口的带宽使用率、延时、可用性、丢包率、重传率为网络的性能监控重要指标。kbactive，表示活跃内存，也就是最近使用过的内存，一般不会被系统回收。kbinact，表示非活跃内存，也就是不常访问的内存，有可能会被系统回收。
大数据-82 Spark 集群模式启动 Hadoop HDFS Spark 与 HelloWorld！
永远好奇，无限进步！
08-14 596
上节完成了Spark的环境配置，集群配置，并且通过分发把服务分发到了别的服务器上等内容。本节我们对集群进行启动和测试，需要HDFS和Spark的环境。这里Spark提供了一个官方的HelloWorld（前提你配置好环境变量，不然你需要到指定目录执行）我们通过查看 h121 的日志，可以看到是 8081 的端口（我的8080好像是被占用了）这个在Spark的目录下的 logs下，如果你也遇到了无法访问，可以看看这个logs。
Spark MLlib 特征工程(上)
最新发布
08-14 716
特征选择的动机，在于提取与预测标的关联度更高的特征，从而精简模型尺寸、提升模型泛化能力。特征选择可以从两方面入手，业务出发的专家经验和基于数据的统计分析。归一化的目的，在于去掉不同特征之间量纲的影响，避免量纲不一致而导致的梯度下降震荡、模型收敛效率低下等问题。归一化的具体做法，是把不同特征都缩放到同一个值域。在这方面，Spark MLlib 提供了多种归一化方法供开发者选择。
谷粒商城实战笔记-175~177-商城业务-检索服务-检索查询接口开发
epitomizelu的专栏
08-13 601
搜索页面搭建完成之后，点击搜索按钮，发送参数给后台服务，后台服务根据参数从Elasticsearch中查询符合条件的数据，返回给前端。
[免费]适用于 Windows 10 的十大数据恢复软件
qq_23996309的博客
08-12 1126
Windows 10 是 Microsoft 开发的跨平台和设备应用程序操作系统。它启动速度更快，具有熟悉且扩展的“开始”菜单，甚至可以在多台设备上以新的方式工作。因此，Windows 10 非常受欢迎，我们用它来保存照片、音乐、文档和更多文件。但有时，由于意外删除、格式化、清空回收站、磁盘显示为 RAW、病毒攻击等原因，数据会丢失。此时，适用于 Windows 10 的数据恢复软件是您的最佳选择。
HDFS的读数据流程和HDFS的写数据流程
03-23
HDFS的读数据流程：客户端向NameNode请求读取文件，NameNode返回包含数据块所在DataNode的信息的元数据信息，客户端根据元数据信息向DataNode请求数据块，DataNode返回数据块给客户端。 HDFS的写数据流程：客户端向...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值