HDFS的读写流程（详解）

最新推荐文章于 2024-07-28 23:55:21 发布
最新推荐文章于 2024-07-28 23:55:21 发布
阅读量9.7k 收藏 22
点赞数 4
分类专栏： 大数据 文章标签： HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SlimShadyKe/article/details/89763113
版权
本文详细介绍了HDFS（Hadoop Distributed File System）的工作原理，包括其优缺点、写流程和读流程。HDFS适用于大数据处理，但存在低延迟访问支持不足、小文件处理效率低等问题。在写流程中，数据通过Pipeline传输，副本策略确保数据可靠性。读流程则涉及客户端从NameNode获取文件block位置，根据距离优先原则选择DataNode进行数据读取。
摘要由CSDN通过智能技术生成

概述

HDFS（Hadoop Distributed File System）是GFS的开源实现。

HDFS的优缺点

1、优点

  • 因为有多个副本，可以保证数据可靠，容错性高
  • 计算向数据移动，适用于批处理
  • 适合大数据处理，GB、TB、PB级数据，百万以上的文件，十万以上的节点
  • 可以构建在廉价机器上，通过多副本提高可靠性

2、缺点

  • 不支持低延迟的数据访问，无法再毫秒之内返回结果
  • 小文件对于HDFS是致命的，会占用大量的NameNode的存储空间
  • 并发写入和文件随机修改困难，因为它一个文件在同一时刻只能有一个写入者，而且只支持append

HDFS的写流程

在这里插入图片描述
写流程如下：
　　1、客户端访问NameNode，NameNode检查路径和权限，如果路径中有与要上传的文件重名的文件就不能上传了，不能覆盖，如果没有才创建，创建名为file.copying的临时文件；
　　2、NameNode触发副本放置策略，如果客户端在集群内的某一台机器，那么副本第一块放置在该服务器上，然后再另外挑两台服务器；如果在集群外，namenode会根据策略先找一个机架选出一个da

最低0.47元/天 解锁文章
Tupac.Amaru.Shakur
关注
专栏目录
Hadoop之HDFS文件读写过程
大数据
05-22 2万+
一、HDFS读过程       1.1 HDFS API 读文件  Configuration conf = new Configuration(); FileSystem fs = FileSystem.get(conf); Path file = new Path("demo.txt"); FSDataInputStream inStream = fs.
HDFS写入和读取流程
weixin_30466039的博客
02-14 607
一、HDFS HDFS全称是Hadoop Distributed System。HDFS是为以流的方式存取大文件而设计的。适用于几百MB，GB以及TB，并写一次读多次的场合。而对于低延时数据访问、大量小文件、同时写和任意的文件修改，则并不是十分适合。 目前HDFS支持的使用接口除了Java的还有，Thrift、C、FUSE、WebDAV、HTTP等。HDFS是以block-sized ...
Hbase简介和快速入门
最新发布
m0_37689903的博客
07-28 1247
本文首先简单介绍了Hbase的定义，逻辑结构，物理存储结构；然后详细的介绍了Hbase的安装；最后简单介绍了Hbase的shell命令操作
HDFS的读写流程步骤（附图文解析）
热门推荐
奇迹虎虎的博客
03-04 2万+
HDFS的写入流程与读取流程，附图文步骤解析
HDFS读写过程
ZYN的博客
12-12 697
HDFS的的写过程 1、HDFS写数据流程 客户端通过Distributed FileSystem模块向NameNode请求上传文件。NameNode检查权限、文件是否存在以及父目录是否存在； NameNode相应客户端是否可以上传； 客户端将数据按块大小切分，并向NameNode请求第一个Block上传的节点位置； NameNode返回节点位置（假设为dn1，dn2，dn3）； 客户端通过FSDataOutputStream模块请求dn1上传数据，dn1收到请求会继续调用dn2，然后dn2调用dn3，
HDFS 读写流程简述
向日的知识小站
06-06 1万+
参考：https://blog.csdn.net/litianxiang_kaola/article/details/70984777          https://blog.csdn.net/zhanglh046/article/details/78547490一、客户端读流程简述1.跟namenode通信查询元数据，找到文件块所在的datanode服务器，HDFS客户端首先调用Distri...
HDFS的读写流程
zjfstart的博客
10-22 215
这里写目录标题HDFS的读写流程HDFS写流程（上传流程）HDFS读流程（下载流程） HDFS的读写流程 HDFS写流程（上传流程） 需要的东西：要上传的文件、客户端Client、NameNode 首先，需要在客户端Client上创建一个分布式文件系统的对象（DistributedFileSystem），然后客户端申请向NameNode上传文件，NameNode会向客户端响应是否可以上传文件。(判断的标准：要申请的上传文件的目录不存在，且具有写权限) 紧接着，客户端会开一个HDFS的输出流叫做FSDat
超详细的HDFS读写流程详解（最容易理解的方式）
香蕉牛奶棒棒槌的博客
03-12 652
HDFS采用的是master/slaves这种主从的结构模型管理数据，这种结构模型主要由四个部分组成，分别是Client(客户端)、Namenode(名称节点)、Datanode(数据节点)和SecondaryNameNode。HDFS作为hadoop的分布式储存框架，最重要的莫过于数据流的读写过程了，下面就HDFS得数据流的读写流程做个详细的剖析。 HDFS的写流程 首先写操作的代码操作： hd...
HDFS读写流程详解：数据交互与传输机制
Hadoop分布式文件系统（Hadoop Distributed File System，简称HDFS）是Apache Hadoop生态系统的核心组件之一。HDFS是一个可扩展的、容错的、高可用性的分布式文件系统，设计用于存储和处理大规模数据集。它通过将...
HDFS读写流程详解及故障处理机制
DIDI___的博客
07-17 1727
HDFS写数据流程 总体流程：   客户端通过对DistributedFileSystem对象调用create()来新建文件，DistributedFileSystem对NamNode创建一个RPC调用，在文件系统的命名空间中新建一个文件，此时该文件中还没有相应的数据块，NamoNode执行各种不同的检查以确保这个文件不存在以及客户端有新建改文件的权限。   如果这些检查均通过，NameNode就会为创建新文件记录一条记录，否则文件创建失败，并向客户端抛出一个IOEx
HDFS读写流程详解和副本存放策略
11号车厢
07-12 547
文章目录1、读流程2、写流程3、black副本存放策略 1、读流程 1）客户端首先调用DistributedFileSystem对象的open方法，去和namenode建立rpc通信，请求namenode返回文件的元信息。 2）namenode得到请求，会在内存中寻找文件元信息。找到后给客户端返回部分（读取文件较大）或全部的block列表，即FSDataInputStream对象。 3）客户端...
HDFS 读写流程概要
weixin_30725467的博客
05-28 81
1、节点介绍 （1）、NameNode管理文件系统的命名空间，维护文件系统树及整棵树内所有的文件和目录，以两个文件形式永久保存在本地磁盘上：命名空间镜像文件fsimage和 编辑日志文件edits。namenode也记录每个文件中各个块所在的数据节点信息。 （2）、DataNode是文件系统的工作节点，根据需要存储并检索数据块，并定期向namenode发送它们所存储的块的列表。 ...
HDFS读写流程及容错
weixin_43487305的博客
01-03 891
1. hdfs的写入流程及容错 文件上传流程如下： 创建文件： ①HDFS client向HDFS写入数据，先调用DistributedFileSystem.create() ②RPC调用namenode的create()，会在HDFS目录树中指定的路径，添加新文件；并将操作记录在edits.log中 namenode.create()方法执行完后，返回一个FSDataOutputStream，它是DFSOutputStream的包装类 建立数据流管道pipeline ③client调用DFSOu
HDFS读写流程详细过程
m0_57697768的博客
05-29 9883
HDFS详细的读写流程，edit和fsimage文件的更新，WAL技术
HDFS数据读写过程
dianbuba8944的博客
09-03 65
参考：https://study.163.com/course/courseLearn.htm?courseId=1002887002#/learn/video?lessonId=1003297027&courseId=1002887002 1.读取文件 读数据的过程 2.写入文件 写数据的过程 注： 转载于:https://ww...
HDFS读写数据流程
zzaliubi的博客
04-23 778
HDFS读写数据流程 一、HDFS写数据流程 HDFS每次写数据时，每次上传的是一个切分过的文件块（文件超过块大小的情况）。文件是在客户端被切分成文件块，所以直接上传，NameNode和DataNode不参与文件的切分。直接接受文件块即可。 1.客户端向NameNode发起请求，要求上传文件，包括块信息。 2.NameNode根据块信息来寻找合适的DataNode,把这个名单返回个客户端。 3.客户端通过这个名单去寻找DataNode节点，并请求建立传输通道。 4.DataNode各个节点回应客户端，表示
详解hdfs读写文件流程
sun_0128的博客
07-04 7304
一.hdfs写数据流程 hdfs dfs -put 要上传的文件的路径 hdfs路径 1.客户端通过 Distributed FileSystem 模块向 NameNode 请求上传文件,NameNode 检查目标文件是否已存在，父目录是否存在。 2.NameNode 返回是否可以上传。不能上传的话会抛出异常。 3.确定可以上传，客户端请求第一个 block 上传到哪几个 datanode 服务器上。 4.NameNode 返回 3 个 datanode 节点，假定分别为 dn1、dn2、dn3。 5.
"大数据面试题及HDFS读写流程详解
大数据在当今的信息时代中扮演着至关重要的角色，而HDFS作为大数据存储和处理的重要组成部分之一，其文件读写过程是整个数据处理流程中至关重要的环节。在HDFS写文件的步骤中，首先客户端向NameNode提交上传文件的...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值