详解HDFS文件读写流程

最新推荐文章于 2022-09-10 13:46:36 发布
最新推荐文章于 2022-09-10 13:46:36 发布
阅读量190 收藏
点赞数 1
分类专栏： 大数据 文章标签： Hadoop 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/okakio/article/details/102909474
版权

文件写入过程

在这里插入图片描述
详细步骤解析：

  1. client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传
  2. client请求第一个block该传输到哪些DataNode服务器上
  3. NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配，返回可用的DataNode的地址如：A，B，C；
  4. client请求3台DataNode中的一台A上传数据（本质上是一个RPC调用，建立pipeline），A收到请求会继续调用B，然后B调用C，将整个pipeline建立完成，后逐级返回client
  5. client开始往A上传第一个block（先从磁盘读取数据放到一个本地内存缓存），以packet为单位（默认64K），A收到一个packet就会传给B，B传给C；A每传一个packet会放入一个应答队列等待应答。
  6. 数据被分割成一个个packet数据包在pipeline上依次传输，在pipeline反方向上，逐个发送ack（命令正确应答），最终由pipelin
最低0.47元/天 解锁文章
我真的不想学啦
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Hadoop之HDFS文件读写过程
大数据
05-22 2万+
一、HDFS读过程       1.1 HDFS API 读文件  Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path file = new Path("demo.txt"); FSDataInputStream inStream = fs.
HDFS的读写流程步骤（附图文解析）
奇迹虎虎的博客
03-04 2万+
HDFS的写入流程与读取流程，附图文步骤解析
HDFS读写流程
qq_42456324的博客
09-10 2445
HDFS的读写数据流程
简单搞定hdfs读写流程
github_36444580的博客
09-04 4554
1.HDFS写数据流程         1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。 2）namenode返回是否可以上传。 3）客户端请求第一个 block上传到哪几个datanode服务器上。 4）namenode返回3个datanode节点，分别为dn1、dn2、dn3。 5）客户端请求d
HDFS（4） --HDFS文件读写流程（最详细！！！）
kismet
11-05 3209
文件写入过程： 详细步骤： 1.client发起文件上传请求，通过rpc与namenode建立通讯，namenode检查目标文件是否存在，父目录是否存在，返回是否可以上传 2.click请求第一个block该传输到那些datenode服务器上 3.namenode根据配置文件将指定的备份数量以及机架感知进行文件分配，返回可用的dataname的地址 4.click请求三台dat...
ＨＤＦＳ　的读写数据流程：
06-06
HDFS的读写数据流程详解 HDFS（Hadoop Distributed File System）是一种分布式文件系统，设计用于存储和处理大规模数据。它的读写数据流程是HDFS的核心组件，本文将对HDFS的读写数据流程进行详细的解释。 读写数据...
hadoop 读写文件流程详解
09-19
在hadoop中，有三大法宝——HDFS，MapReduce，Hbase，但是无论是MapReduce，Hbase还是hadoop中的其他组件如：Hive等他们要处理的...可见HDFS可以说是hadoop存储的基础和核心，因此对HDFS的文件读写操作显得十分重要。
HDFS文件系统技术详解.pptx
10-14
HDFS 文件系统技术详解 HDFS（Hadoop Distributed File System）是一种分布式文件系统，设计用于存储和管理大规模数据。它是 Hadoop 生态系统的核心组件之一，是一个高度可扩展、可靠、容错的文件系统。 HDFS 架构...
HDFS文件系统技术详解.pdf
10-14
《HDFS文件系统技术详解》 Hadoop分布式文件系统（HDFS）是大数据处理的核心组件之一，它提供了高容错性和高吞吐量的数据存储和访问能力。本文将深入探讨HDFS的文件读写机制、副本策略、Shell接口以及Java API，以...
Hadoop各组件详解（HDFS篇）
01-07
一、Hadoop三大组件 1.HDFS 分布式文件存储系统 2.MapReduce 分布式离线计算框架 ...3、流式数据访问，一次写入多次读写，这种模式跟传统文件不同， 它不支持动态改变文件内容，而是要求让文件一次写入就不做变化，
Hadoop HDFS 读写流程 | 图文详解
lesileqin的博客
04-14 4124
文章目录一、HDFS写数据流程1、文件写入流程2、网络拓扑 - 节点距离计算3、机架感知（副本存储节点选择）二、HDFS读数据流程 一、HDFS写数据流程 1、文件写入流程 下图为文件写入流程剖析图： 想要上传一个200M的文件ss.avi到HDFS，它的写入流程是这样的： 客户端创建Distributed FileSystem，该模块向HDFS的老大哥NameNode请求上传文件ss.avi 老大哥NameNode是个做事很守规矩的人，所以他要检查权限和目录结构是否存在，如果存在就向Distribu
hadoop集群读、写数据的流程
热门推荐
诗水人间
10-24 12万+
1）客户端通过Distributed FileSystem向NameNode请求下载文件，NameNode通过查询元数据，找到文件块所在的DataNode地址。 2）挑选一台DataNode（就近原则，然后随机）服务器，请求读取数据。 3）DataNode开始传输数据给客户端（从磁盘里面读取数据输入流，以Packet为单位来做校验）。 4）客户端以Packet为单位接收，先在本地缓...
初识HDFS（10分钟了解HDFS、NameNode和DataNode）
akmwqbtto75520502的博客
07-26 916
概览 首先我们来认识一下HDFS， HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件，为了降低文件丢失造成的错误，它会为每个小文件复制多个副本（默认为三个），以此来实现多机器上的多用户分享文件和存储空间。 HDFS特点： ...
HDFS读写流程详解
周少钦的博客
08-06 156
文章目录写流程读流程 写流程 大致流程 客户端先向NameNode进行通信，确认文件路径以及父路径是否正确，并获取负责接受块的DataNode位置。然后客户端按照文件顺序逐个将block传递给一个DataNode，这个DataNode接收到文件后会负责向另一个DataNode复制副本，以此连续直到副本数到达要求 详细流程 DistributeFileSystem(FileSystem的子类)调用create()方法，DistributeFileSystem与NameNode创建一个PRC调用
Hadoop学习总结之二：HDFS读写过程解析
forfuture1978的专栏
11-10 4702
一、文件的打开 1.1、客户端 HDFS打开一个文件，需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize)，其实现为： public FSDataInputStream open(Path f, int bufferSize) throws IOException {   return new DFSClient.DFSDataInputStream(     
HDFS读写流程介绍，HDFS读数据和写数据的原理是什么？
qq_41293655的博客
12-04 1148
Client(客户端)对HDFS中的数据进行读写操作，分别是Client从HDFS中查找数据，即为Read(读)数据;Client从HDFS中存储数据，即为Write(写)数据。下面我们对HDFS的读写流程进行详细的介绍。假设有一个文件1.txt文件，大小为300M，这样就划分出3个数据块，如图1所示。 　　图1 文件划分情况 　　下面，我们借助图1所示的文件，分别讲解HDFS文件读数据和写数据的原理。 　　1.HDFS写数据原理 　　在我们把文件上传到HDFS系统中，HDFS究竟是如何存储..
从HDFS文件系统中读写文件原理
li93675的博客
09-14 2193
1、从HDFS文件系统中写文件     1、客户端发起请求要写文件 /aa/jdk.tgz      2、namenode会检查该目录是否存在，返回是否可写      3、客户端请求写入第一个block      4、namenode返回3个datanode主机      5、挑选dn1，请求建立传输数据的连接，建立socket连接，请求带有参数，告诉dn1要传输给多少台机器   ...
HDFS笔记（特点、原理与基本架构）
woshiwanxin102213的专栏
02-26 1万+
产生背景 以文件为基本存储单位的缺点 1、文件大小不同，难以实现负载均衡。 2、处理一个文件时，只能利用一个节点资源，无法动用集群。 HFDS的定义 源自于Google的GFS论文     发表于2003年10月     HDFS是GFS克隆版 Hadoop Distributed File System     易于扩展的分布式文件系统     运行在
hdfs文件读写代码
最新发布
05-28
HDFS（Hadoop Distributed File System）是一个分布式文件系统，它的设计就是为了能够在通用硬件上运行，同时提供高吞吐量的数据访问。下面是HDFS文件读写的一些Java代码示例： 1. 读取文件 ```java // 获取Hadoop配置信息 Configuration conf = new Configuration(); // 构造一个HDFS文件系统对象 FileSystem fs = FileSystem.get(URI.create("hdfs://localhost:9000"), conf); // 构造一个输入流，用于读取文件内容 Path inFile = new Path("/user/hadoop/input/test.txt"); FSDataInputStream in = fs.open(inFile); // 读取文件内容 byte[] buffer = new byte[1024]; int bytesRead = in.read(buffer); while (bytesRead > 0) { System.out.println(new String(buffer, 0, bytesRead)); bytesRead = in.read(buffer); } // 关闭输入流 in.close(); ``` 2. 写入文件 ```java // 获取Hadoop配置信息 Configuration conf = new Configuration(); // 构造一个HDFS文件系统对象 FileSystem fs = FileSystem.get(URI.create("hdfs://localhost:9000"), conf); // 构造一个输出流，用于写入文件内容 Path outFile = new Path("/user/hadoop/output/test.txt"); FSDataOutputStream out = fs.create(outFile); // 写入文件内容 out.write("Hello, World!".getBytes()); // 关闭输出流 out.close(); ``` 3. 检查文件是否存在 ```java // 获取Hadoop配置信息 Configuration conf = new Configuration(); // 构造一个HDFS文件系统对象 FileSystem fs = FileSystem.get(URI.create("hdfs://localhost:9000"), conf); // 检查文件是否存在 Path path = new Path("/user/hadoop/input/test.txt"); boolean exists = fs.exists(path); System.out.println("File exists: " + exists); ```

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值