整理总结 --- HDFS 读写过程

最新推荐文章于 2022-03-14 00:00:14 发布
最新推荐文章于 2022-03-14 00:00:14 发布
阅读量346 收藏 1
点赞数
分类专栏： HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/tianyeshiye/article/details/84750401
版权
本文详细介绍了HDFS的读写过程。在写文件时，客户端先将数据缓存，达到block大小时请求NameNode分配block，然后直接与DataNode通信进行数据存储。读文件时，客户端首先获取block的locations，通过DFSInputStream选择最近的DataNode进行数据读取，如果出现异常则切换到其他可用节点。HDFS通过DataNode集群支持大量并发访问，适合顺序读取，不适合高并发随机读写。
摘要由CSDN通过智能技术生成

客户端：负责发起或提交读写请求,  写文件时，会拆分文件

namenode：HDFS的核心负责全局协调，做任何事都要向这里汇报，和把控所有的请求。

datanode：数量不定，负责数据的 存储。

数据存储： staging 
HDFS client上传数据到HDFS时，首先，在本地缓存数据，当数据达到一个block大小时。请求NameNode分配一个block。 NameNode会把block所在的DataNode的地址告诉HDFS client。 HDFS client会直接和DataNode通信，把数据写到DataNode节点一个block文件里。拆分文件

数据存储：读文件操作

1.首先调用FileSystem对象的open方法，事实上是一个DistributedFileSystem的实例。

2.DistributedFileSystem通过rpc获得文件的第一批block的locations，同一个block依照反复数会返回多个locations，这些locations依照hadoop拓扑结构排序，距离client近的排在前面。

3.前两步会返回一个FSDataInputStream对象，该对象会被封装DFSInputStream对象，DFSInputStream能够方便的管理datanode和namenode数据流。client调用read方法。DFSInputStream最会找出离client近期的d

最低0.47元/天 解锁文章
天地不仁以万物为刍狗
关注
专栏目录
【小白视角】大数据基础实践(三)HDFS的简单基本操作_使用客户端节点执行hdfs dfs -put文件上传至hdfs很慢
2401_84181253的博客
04-08 1258
HDFS（Hadoop Distributed File System）分布式文件系统，是Hadoop项目的核心子项目，是分布式计算中数据存储管理的基础。兼容廉价的硬件设备流数据读写大数据集简单的文件模型强大的跨平台兼容性不适合低延迟数据访问无法高效存储大量小文件不支持多用户写入及任意修改文件。
HDFS的读写过程
weixin_39400271的博客
10-28 403
一、HDFS的写过程 Client节点，调用create方法创建DistributedFileSystem对象，然后向NameNode发送写请求，NameNode允许之后，返回DataNode节点信息给Client节点，接着Client调用write方法，创建FSDataOutputStream对象，根据NameNode返回的DataNode节点信息，开始向指定的DataNo...
hdfs读写流程知识点总结史上最全
weixin_45150252的博客
09-22 204
简书原文章链接地址 https://www.jianshu.com/p/d0b7c92dfa3f
浅谈HDFS及其读写过程
qq_40589631的博客
08-12 1495
一、HDFS的概述 1、hdfs式文件系统，用于存储文件，通过统一的命名空间–目录树来定位文件。 2、它是分布式的，由很多服务器联合起实现其功能，集群中的服务器有各自的角色。 3、它的设计是一次写入，多次读出，且不支持文件的修改。 二、HDFS的优缺点 1、优点 （1）高容错性（一数据块存...
初学HDFS的读过程和写过程的分析
weixin_33768481的博客
11-13 87
刚刚接触HDFS,感觉HDFS的数据可靠性非常高，记录一下..一HDFS的基本原理HDFS采用了主从（Master/Slave）结构模型，一个HDFS集群包括一个名称节点（NameNode）和若干个数据节点（DataNode）。名称节点作为中心服务器，负责管理文件系统的命名空间及客户端对文件的访问。集群中的数据节点一般是一个节点运行一个数据节点进程，负责处理文件系统客户端的读...
HDFS读写流程个人珍藏总结
CLKTOY的博客
10-11 183
hdfs读写流程HDFS写流程1.详细写步骤2.详细读步骤总结 HDFS写流程 提示：写流程图如下： 1.详细写步骤 客户端（FS shell）向namenode请求上传文件，namenode检查文件是否存在，父目录是否存在。 namenode返回客户端是否可以上传。 客户端请求第一个block上传到哪几个datanode上。 namenode返回客户端3个datanode（假设）节点，dn1，dn2，dn3. 客户端请求dn1上传数据，dn1发送请求给dn2，dn2发给dn3，（传递的本质时RPC
hdfs的实验总结_HDFS学习心得
weixin_36073714的博客
12-29 4843
HDFS-Hadoop文件系统第一节：HDFS的文件结构学习HDFS首先得了解HDFS的文件结构，以及它是如何更新和保存数据的，要了解HDFS首先得知道HDFS主要由三个部分组成：namenode,datanode,secondaryNamenode.这三者的关系按照我的理解就是主人，下人，小秘的关系。namenode是主人的角色，他是一个管理者，是一个决策者。datanode是一个下人，准确来说...
深入分析HDFS原理及读写流程
静待花开
03-12 8367
本文目录一、架构体系1.1、什么是HDFS？1.2、组成HDFS的各模块作用1.2.1、Client1.2.2、NameNode1.2.3、DataNode1.2.4、SecondaryNameNode二、数据读写2.1、读数据2.2、写数据三、优缺点 一、架构体系 1.1、什么是HDFS？ HDFS即Hadoop Distributed File System的简称，采用Master/Slave...
HDFS知识点整理总结
qq_40348184的博客
03-14 479
在学习Hadoop过程中总结一下Hadoop相关指令 Hadoop启动指令 所有启动指令都在指定服务器下启动 启动/关闭HDFS sbin/start-dfs.sh sbin/stop-dfs.sh 启动/关闭YARN（NodeManager 、ResourceManager） sbin/start-yarn.sh sbin/stop-yarn.sh 启动/关闭历史服务器 mapred --daemon start historyserver mapred --daemon stop historyser
HDFS读写流程（史上最精炼详细）
热门推荐
little prince，blue coder
07-16 8万+
概述 开始之前先看看其基本属性，HDFS（Hadoop Distributed File System）是GFS的开源实现。 特点如下： 能够运行在廉价机器上，硬件出错常态，需要具备高容错性 流式数据访问，而不是随机读写 面向大规模数据集，能够进行批处理、能够横向扩展 简单一致性模型，假定文件是一次写入、多次读取 缺点： 不支持低延迟数据访问 不适合大量小文件存储（因为每条元数据占...
HDFS的读写过程简述
fort110的博客
02-19 5372
主要的角色：客户端：负责发起或提交读写请求（如果往HDFS上存储数据或获取数据，就要告诉客户端）。namenode：HDFS的核心负责全局协调，做任何事都要向这里汇报，和把控所有的请求。datanode：数量不定，负责数据的 存储。把数据写到HDFS的集群的过程1.用户向客户端请求服务                        请求角色：1.hdfs shell2.JAVA API      ...
HDFS的读写流程（详解）
SlimShadyKe的博客
05-02 9712
概述 HDFS（Hadoop Distributed File System）是GFS的开源实现。 HDFS的优缺点 1、优点 因为有多个副本，可以保证数据可靠，容错性高 计算向数据移动，适用于批处理 适合大数据处理，GB、TB、PB级数据，百万以上的文件，十万以上的节点 可以构建在廉价机器上，通过多副本提高可靠性 2、缺点 不支持低延迟的数据访问，无法再毫秒之内返回结果 小文件对于HDFS...
hdfs写并发问题
weixin_33971205的博客
12-06 2187
hdfs文件写入不支持多个进程同时写入一个文件，每次只能一个FS挟持对象的人写入 转载于:https://www.cnblogs.com/yaohaitao/p/10075282.html
初识HDFS（10分钟了解HDFS、NameNode和DataNode）
akmwqbtto75520502的博客
07-26 937
概览 首先我们来认识一下HDFS， HDFS（Hadoop Distributed File System ）Hadoop分布式文件系统。它其实是将一个大文件分成若干块保存在不同服务器的多个节点中。通过联网让用户感觉像是在本地一样查看文件，为了降低文件丢失造成的错误，它会为每个小文件复制多个副本（默认为三个），以此来实现多机器上的多用户分享文件和存储空间。 HDFS特点： ...
Hadoop学习总结之二：HDFS读写过程解析
forfuture1978的专栏
11-10 4748
一、文件的打开 1.1、客户端 HDFS打开一个文件，需要在客户端调用DistributedFileSystem.open(Path f, int bufferSize)，其实现为： public FSDataInputStream open(Path f, int bufferSize) throws IOException {   return new DFSClient.DFSDataInputStream(     
HDFS的存储结构以及操作流程简单总结
云计算、分布式架构、K8S、大数据、机器学习、搜索、推荐、广告
01-02 5190
一、NameNode数据结构 1、物理结构 ${dfs.name.dir}/current/{VERSION,edits,fsimage,fstime} dfs.name.dir是一个目录列表，存储每个目录的镜像。VERSION文件是Java属性文件,包含运行HDFS的版本信息。 edits，是编辑日志文件。当客户断执行写操作的时，NameNode首先会在编辑日志中写下记录，并在内存中保存
Hadoop（一） HDFS的存储机制
fwk19840301的博客
05-29 609
HDFS的写入数据流程 1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。 2）namenode返回是否可以上传。 3）客户端请求第一个 block上传到哪几个datanode服务器上。 4）namenode返回3个datanode节点，分别为dn1、dn2、dn3。 5）客户端请求dn1上传数据，dn1收到请求会继续调用dn2，然后d...
HDFS 的并发写问题
一个写湿的程序猿
02-07 2589
hdfs的并发写问题hdfs的并发写问题结论 hdfs的并发写问题 总所周知，hadoop的hdfs组件有一个缺点就是不支持并发写入，不支持文件随即修改. 有以下两种情况： 两个客户端同时向hdfs上传不同名文件: 全都上传成功. 两个客户端同时向hdfs上传同名文件: 两个文件全部上传失败. 因此hdfs不能并发写指的是不能同时上传同位置同名文件. 额外一种情况 两个同名文件，一个文件成功上传，再用另一个客户端上传同名文件，会提示 File exists. 结论 hdfs的不能并发写指的是：同位
构建实时大数据处理系统：Flume-Kafka-Storm-HDFS集成实战
"本文主要介绍了如何构建一个基于flume-ng、Kafka、Storm和HDFS的实时处理系统，探讨了项目架构的特点、数据准确性保证、Kafka的原理以及flume与Kafka的集成方法，同时提供了监控数据传输的手段。" 大数据处理中，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值