详解大数据HDFS分布式文件系统的写入流程

最新推荐文章于 2022-10-27 21:35:41 发布
最新推荐文章于 2022-10-27 21:35:41 发布
阅读量304 收藏
点赞数
分类专栏： HDFS 文章标签： HDFS 执行流程
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43181007/article/details/87251413
版权

写入流程:
1.客户端发起RPC请求访问NameNode
2.NameNode在收到请求之后会进行校验:路径校验,权限校验
3.如果所有校验都通过,则计算文件大小,计算切块数量,分配对应的DataNode,记录元数据,将文件块的储存地址,放入到队列中返回给客户端
4.客户端收到队列后,将文件进行切块,然后将每一块封装成一个packets对象,准备发送
5.客户端取出第一块的地址,从这些地址中选一个网络距离比较近的节点,将第一个packets写到对应的DataNode上
6.这个DataNode通过pipeline(管道)将数据写到其他DataNode上,保证了整个HDFS中的复本数量
7.当客户端将所有的packets都写完之后,会给NameNode发送结束信号.NameNode收到信号之后.将文件关闭,同时将文件设置为不可写入的文件

偶尔想起你
关注
专栏目录
第3章 分布式文件系统HDFS（精心梳理 详解HDFS ）
wyz191的专栏
04-04 1万+
分布式文件系统（Distributed File System）是一种通过网络实现文件在多台主机上进行分布式存储的文件系统。分布式文件系统的设计一般采用“Client/Server(客户机/服务器)”模式，客户端以特定的通信协议通过网络与服务器建立连接，提出文件访问请求，客户端和服务器可以通过设置访问权来限制请求方对底层数据存储块的访问。 分布式文件系统的结构 普通操作系统（Windows、Linux）中，文件系统一般会把磁盘空间划分为512Byte/每组的“磁盘组”，它是文件系统进行读写的最小单位，文
分布式文件系统实现互斥写入
ljyss9的博客
02-13 140
本文会简单介绍常见的分布式锁实现方案，方案在实际使用中所存在的问题，以及利用dfs特性实现分布式文件互斥写入、删除。
HDFS的写入数据流程
sghuu的博客
08-02 483
HDFS的写入数据流程 剖析文件写入 1）客户端通过Distributed FileSystem模块向NameNode请求上传文件，NameNode检查目标文件是否已存在，父目录是否存在。 2）NameNode返回是否可以上传。 3）客户端请求第一个 Block上传到哪几个DataNode服务器上。 4）NameNode返回3个DataNode节点，分别为dn1、dn2、dn3。 5）客户端通过...
[hadoop] hadoop分布式文件系统流程
啊嘞嘞的博客
07-13 273
* 分布式文件系统 在学习一个文件系统时，首先我先想到的是，学习它能为我们提供什么样的服务，它的价值在哪里，为什么要去学它。以这样的方式去理解它之后在日后的深入学习中才能够对它有一个更深层次的理解。 1. 什么是分布式文件系统 　　所谓的分布式文件系统，我的个人理解是管理网络中把数据存储在不止一台机器上的系统，这样的存储方式被称为分布式存储。（管理网络中跨多台计算机存储的文件系统称为分布式文...
MFS分布式存储系统(2)-文件写入方式与文件恢复、存储类
小螺号的博客
04-21 277
文章目录一、文件写入方式与文件恢复1.文件写入2.文件恢复二、存储类1.添加chunk server节点1.示例12.示例2 一、文件写入方式与文件恢复 1.文件写入 mfs默认的单个chunk大小为50M,如果写入文件大于50M,则mfs会为其分配多个chunk来存储 mfs写入过程图解： 2.文件恢复 [root@foundation1 mfs]# cd dir1 [root@foundation1 dir1]# ls passwd [root@foundation1 dir1]# rm -rf
HDFS分布式文件系统具备的优点共2页.pdf.zip
10-28
《HDFS分布式文件系统的优势详解》 Hadoop Distributed File System（HDFS）是Apache Hadoop项目的核心组件之一，它是一个高度容错性的分布式文件系统，专为处理大规模数据集而设计。HDFS的设计理念和特性使其在大...
04：HDFS分布式文件系统.zip
最新发布
03-08
《HDFS分布式文件系统详解》 Hadoop Distributed File System（HDFS）是Apache Hadoop项目的核心组件之一，它是一个高容错、可扩展的分布式文件系统，专为处理大规模数据而设计。HDFS的设计目标是将大型数据集分布...
HDFS分布式文件系统知识总结
CycloneKid的博客
01-22 1886
文章目录一.分布式文件系统HDFS二.HDFS的特点及适用场景2.1 HDFS的高容错性2.2 HDFS的适用场景三.HDFS架构3.1 HDFS集群中的主要角色3.2 NameNode和Secondary Namenode的工作原理FsImage和EditsNameNode和Secondary Namenode的工作流程NameNode和Secondary Namenode功能详解3.3 Dat...
HDFS分布式文件系统详细介绍
bitmao888的博客
03-31 2319
文章目录1、分布式文件系统详细介绍2、HDFS分布式文件系统设计目标3、HDFS的来源4、HDFS的架构图之基础架构5、抽象成数据块的好处块缓存hdfs的文件权限验证6、HDFS的元数据信息FSimage以及edits和secondaryNN的作用FSImage与edits详解FSimage文件当中的文件信息查看edits当中的文件信息查看secondarynameNode如何辅助管理FSImag...
分布式搜索引擎写入和查询的工作流程
zjuwzp的博客
08-17 242
1、es写数据过程 1）客户端选择一个node发送请求，这个node就是coordinating node（协调节点）。 2）coordinating node，对document进行路由，将请求转发给对应的node（有primary shard）。 3）实际的node上的primary shard处理请求，然后将数据同步到replica node。 4）coordinating node，如果发...
图解向hadoop分布式文件系统写文件的工作流程
weixin_30627381的博客
09-03 91
　　网上看到一张关于hadoop分布式文件系统(hdfs)的工作原理的图片，其实主要是介绍了向hdfs写一个文件的流程。图中的流程已经非常清晰，直接上图 　　好吧，博客园告诉我少于200字的文章不允许发布到网站首页，我只能巴拉巴拉多扯几句了。以前一直以为从Client端写大文件到hdfs中需要先把文件全部传到Namenode上，然后由namenode来按块切分，并分发到Datanode上去。...
大数据_06 【hadoop HDFS文件读写流程】
热门推荐
weixin_44925086的博客
10-12 7万+
大数据_05 【hadoop HDFS文件读写流程】01 文件写入过程02 文件读取过程03 数据校验04 DataNode节点丢失周期05 DataNode的目录结构 01 文件写入过程 详细步骤解析： 1、 client发起文件上传请求，通过RPC与NameNode建立通讯，NameNode检查目标文件是否已存在，父目录是否存在，返回是否可以上传； 2、 client请求第一个block该传输到哪些DataNode服务器上； 3、 NameNode根据配置文件中指定的备份数量及机架感知原理进行文件分配
分布式文件系统HDFS，大数据存储实战（一）
weixin_30270561的博客
02-18 455
本文进行了以下工作： OS中建立了两个文件，文件中保存了几组单词。 把这两个文件导入了hadoop自己的文件系统。 介绍删除已导入hadoop的文件和目录的方法，以便万一发生错误时使用。 使用列表命令查看导入的文件和新建的目录。 调用hadoop自带的示例jar包hadoop-0.20.2-example.jar中的程序wordcount，输出结果，以测试本hadoop系统是否...
DataX实现mysql全量数据同步到hdfs
JiaXingNashishua的博客
10-27 2199
DataX是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据 库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高 效的数据同步功能。
分布式文件系统（HDFS）读写流程
weixin_46015057的博客
05-28 1348
HDFS数据副本机制 ​1、第一份数据来源于用户的客户端 ​2、第二份数据存放在与第一份副本在同一个机架，不同的节点，按照一定的机制（cpu 内存 io 使用率和节点磁 盘剩余容量）选取一个节点进行存放 ​3、第三份副本存放在，与第一第二副本不在同一机架，且逻辑距离最近的机架上，按照一定的机制（cpu 内存 io 使用率和节点磁盘剩余容量），选择一个节点进行存放 NameNode的三大作用 ​1、维护、管理HDFS的目录数-元数据-名字空间 ​2、确定指定的文件块到具体的DataNode结点的映射关系。
分布式文件系统HDFS原理篇
iva_brother的博客
05-26 5624
所谓分布式文件系统就是通过网络实现文件在多台主机上进行分布式存储的文件系统！它一般采用“客户端/服务器端”的模。 分布式文件系统的结构 如下图所示，分布式文件系统在物理结构上是由计算机集群的多个节点构成的。这些节点分为主节点（Namenode,也叫做名称节点）和从节点（Datanode，也叫做数据节点）。其中主节点负责文件和目录的创建、删除和重命名等，同时管理着从节点和文件块的映射关系，因此客...
分布式文件系统
Enweitech Software Works
09-05 1万+
分布式文件系统 相对于本机端的文件系统而言，分布式文件系统（英语：Distributed file system, DFS），或是网络文件系统（英语：Network File System），是一种允许文件通过网络在多台主机上分享的文件系统，可让多机器上的多用户分享文件和存储空间。 在这样的文件系统中，客户端并非直接访问底层的数据存储区块，而是通过网络，以特定的通信协议和服务器沟通。借由通信协议...
分布式文件系统 - FastDfs简介及工作原理
江南烟雨却痴缠丶
10-28 1295
什么是FastDfs FastDFS是用c语言编写的一款开源的分布式文件系统，它是由淘宝资深架构师余庆编写并开源。FastDFS专为互联网量身定制，充分考虑了冗余备份、负载均衡、线性扩容等机制，并注重高可用、高性能等指标。使用FastDFS很容易搭建一套高性能的文件服务器集群提供文件上传、下载等服务 为什么要使用FastDFS ①通用分布式文件系统的优缺点 NFS、GFS都是通用的分...
厦门大学林子雨：HDFS详解与大数据分布式文件系统应用
在《大数据技术原理与应用》一书中，作者林子雨，厦门大学计算机科学系教授，深入讲解了第三章的主题——分布式文件系统HDFS。这一章节首先介绍了分布式文件系统的基本概念，包括计算机集群的结构，如如何将文件分散...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值