HDFS的数据读写流程

最新推荐文章于 2021-09-15 16:06:11 发布
最新推荐文章于 2021-09-15 16:06:11 发布
阅读量186 收藏
点赞数 2
分类专栏： 大数据 文章标签： HDFS数据读写过程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_44268098/article/details/95637958
版权

读流程

客户端------>DistributedFileSystem.open()------>FSDataInputStrean------>ClientProtocol.getBlockLocation()远程调用------>名称节点----------（返回块的数据节点，并排序）-------->DFSInputStream------>客户端------------（利用DFSInputStream.read()）------------>数据节点------>关闭流与数据节点的连接------>DFSInputStrean------>ClientProtocol.getBlockLocation()远程调用------>名称节点----------（返回块的数据节点，并排序）-------->DFSInputStream------>客户端------------（利用DFSInputStream.read()）------------>数据节点------>关闭流与数据节点的连接------>……------>关闭流.close()

HDFS读数据的过程

写流程

客户端------>DistributedFileSystem.create()------>FSDataOutputStream------>RPC远程调用------>名称节点------（检查，创建文件夹存储块信息）------>DFSOutputStream------>客户端------（利用DFSOutputStream.write()）------>（数据分包，放入流内部队列，申请数据节点，生成管道，流经管道）数据节点------（ACK Packet）------>客户端------（利用DFSOutputStream.write()）------>（数据分包，放入流内部队列，申请数据节点，生成管道，流经管道）数据节点------（ACK Packet）------>客户端------>……------>关闭流.close(),并且调用ClientProtocol.complete()通知名称节点关闭文件（一开始创建的文件）
HDFS写数据的过程

两个文件系统
FileSystem 父类
DistributedFileSystem 子类

两个输入流

FSDataInputStream 父类
DFSInputStream 子类

两个输出流
FSDataOutputStream 父类
DFSOutputStream 子类

松岛的枫叶
关注
  • 2
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
HDFS客户端文件写操作---FSDataOutputStream的写操作01
weixin_39935887的博客
03-13 1669
在分析FSDataOutputStream的写操作前，我们先来了解一下它的结构，相应的结构图如图1： 图1我们开始分析写函数，最终调用的是DFSOutputStream类中的write函数，而DFSOutputStream继承FSOutputSummer，FSOutputSummer类中实现了write函数，该类中有两个write函数: write(byte b[], int off, int...
Hadoop HDFS源码学习笔记（七）--DFSInputStream -- openInfo
一剪梅
03-26 2024
现详细了解openInfo函数的内部实现，以及修改了什么 首先给出openInfo的调用序列图： 在openInfo函数中，首先会调用DFSClient的callGetBlockLocations，这个函数主要是通过跟namenode的交互，来完成从namenode取得用户请求的file的元数据信息，返回的内容为locatedBlocks 接下来会让DFSInputStream更新当
HDFS写入数据的流程
weixin_45800556的博客
11-03 512
首先客户端通过DistributedFileSystem对象调用create()方法创建文件。这时DistributedFileSystem会创建一个DFSOutPutStream，通过PRC调用让NameNode执行同名方法。NameNode此时会进行一系列的检查，包括这个文件是否存在、客户端是否拥有对该文件的权限、自身是否处于正常状态等等。若检查通过NameNode会记录创建操作到编辑日志中...
HDFS(十一)：一些骚气的功能
05-12 386
1.集群间数据拷贝 1.1 scp实现两个远程主机之间的文件复制 scp -r hello.txt root@pdc:/user/pdc/hello.txt // 推 push scp -r root@pdc:/user/pdc/hello.txt hello.txt // 拉 pull scp -r root@pdc:/user/pdc/hello.txt root@pdc2:/user/...
2. HDFS CLINT WRITE整理版
王小禾
02-23 361
1.概述 通过fsShell或api在客户端断点调试，可以知道写文件入口DistributedFileSystem.create()。 "main@1"prio=5tid=0x1nid=NA runnable java.lang.Thread.State: RUNNABLE at org.apache.hadoop.hdfs.DFSOutputStre...
Hadoop技术HDFS数据读写流程共7页.pdf.zip
最新发布
11-21
本文件" Hadoop技术HDFS数据读写流程共7页.pdf "显然提供了关于HDFS数据读写过程的详细信息，虽然实际的文档内容无法在此直接展示，但根据标题和描述，我们可以深入探讨HDFS的数据读写流程，以及它在Hadoop生态系统...
【HDFS篇06】HDFS数据读写流程1
08-04
本篇文章主要探讨HDFS的数据读写流程，特别是写数据的过程。 首先，我们关注HDFS的写数据流程： 1. **发起上传请求**：客户端通过Distributed FileSystem模块向NameNode发起请求，意图上传一个文件。NameNode是...
HDFS读写流程.xmind
04-03
HDFS读写数据流程描述，脑图展示，易于理解与记忆，仅供学习使用。HDFS分布式文件系统是一个主从架构，主节点是NameNode，负责管理整个集群以及维护集群的元数据信息；从节点是DataNode，主要负责文件数据存储。
ＨＤＦＳ　的读写数据流程：
06-06
HDFS的读写数据流程详解 HDFS（Hadoop Distributed File System）是一种分布式文件系统，设计用于存储和处理大规模数据。它的读写数据流程是HDFS的核心组件，本文将对HDFS的读写数据流程进行详细的解释。 读写数据...
HDFS读写数据流程分析.ppt
09-29
在HDFS中，数据读写是通过客户端与NameNode和DataNode进行交互实现的。在这里，我们将详细分析HDFS读写数据流程。 数据读取流程 在HDFS中，数据读取流程可以分为以下步骤： 1. 客户端发送读取请求：客户端向...
《Hadoop 2.X HDFS源码剖析》读书笔记（Client）
梓纾的专栏
11-05 4270
1. DSFClient实现对于管理文件/目录以及管理与配置HDFS系统这两个功能，DFSClient并不需要与Datanode交互，而是直接通过远程接口ClientProtocol调用Namenode提供的服务即可。而对于文件读写功能，DFSClient除了需要调用ClientProtocol与Namenode交互外，还需要通过流式接口DataTransferProtocol与Datanode交互
HDFS读写原理
aaxx123546的博客
08-25 213
Hadoop 是什么 Hadoop 是一个开源的大数据框架同时也是一个分布式计算的解决方案。Hadoop = HDFS （分布式文件系统）+MapReduce（分布式计算） HDFS HDFS 概念 数据块 NameNode DataNode 数据块： 数据块是一个抽象的块，而不是整个文件。默认大小是64Mb，一般设置为128Mb...
关于操作HDFS的一个问题
weixin_34292924的博客
04-26 830
近日写程序定时任务调Hadoop MR程序，然后生成报表，发送邮件，当时起了两个任务A和B，调MR程序之前，会操作hdfs（读写都有），任务A每天一点跑，任务B每十分钟跑一次，B任务不会调用MR程序，纯粹采集数据。结果第一天就发现任务A没有发送邮件，于是乎查日志，异常信息如下 java.io.IOException: Failed on local exception: java.io.In...
DFSOutputStream
I am not a quitter.
06-15 1458
客户端负责数据写入处理的核心类是DFSOutputStream，该类是DFSClient的内部类，同时它的内部包含三个内部类：数据包发送器DataStreamer、数据包确认处理器ResponseProcessor和数据包封装器Packet。       class DFSOutputStream extends FSOutputSummer implements Syncable{}
大数据技术原理与应用作业三
weixin_43644559的博客
09-15 4708
大数据技术原理与应用作业三 1. 试述分布式文件系统设计的需求。 ​ 分布式文件系统的设计目标主要包括透明性、并发控制、可伸缩性、容错以及安全需求等。但是，在具体实现中，不同产品实现的级别和方式都有所不同。下面是具体指标的含义： **透明性：**具备访问透明性、位置透明性、性能和伸缩透明性。访问透明性是指用户不需要专门区分哪些是本地文件，哪些是远程文件，用户能够通过相同的操作来访问本地文件和远程文件资源。位置透明性是指在不改变路径名的前提下，不管文件副本数量和实际存储位置发生何种变化，对用户而言都是透明
HDFS------namenode中的ClientProtocol的实现
shuhuai007的专栏
09-15 1290
一. 先来看public LocatedBlocks  getBlockLocations(String src,long offset, long length) throws IOException; 这个方法：返回文件的块的位置。 返回值LocatedBlocks的类图
Hadoop之HDFS读写流程
qq_32603475的博客
10-25 323
HDFS写流程 HDFS写流程步骤 创建文件 1、客户端调用DistributedFileSystem.create()方法Rpc方式（ClientProtocol.create()）远程调用NameNode（NameNodeRpcServer）的create()方法在HDFS上创建文件。 2、NameNode将该事务操作保持到edits.log文件当中 3、NameNode.create()创...
使用HDFS上传
建伟博客
05-25 4102
http://blog.csdn.net/jingling_zy/article/details/7397883 使用WebDAV从Windows上传日志到HDFS 本篇文章来源于 Linux公社网站(www.linuxidc.com)  原文链接：http://www.linuxidc.com/Linux/2012-01/51652.htm 在讨论如何从
hadoop源码hdfs学习-基础知识
strideahead的博客
07-19 234
在HDFS中，Namenode是HDFS的Master节点，负责管理文件系统的命名空间（namespace），以及数据块到具体DataNode节点的映射信息，集群中的DataNode一般是一个节点一个，，负责他所在节点上的存储。从内部看，一个文件被分为多个数据块，存储在以组DataNode上，以本地文件的形式保存这些数据块以及数据块的校验信息。 用户能通过HDFS客户端发起读写HDFS文件的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值