详解大数据HDFS分布式文件系统的写入流程

最新推荐文章于 2021-05-28 22:29:30 发布
最新推荐文章于 2021-05-28 22:29:30 发布
阅读量209 收藏
点赞数 1
分类专栏： HDFS 文章标签： HDFS
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43181007/article/details/87252094
版权

删除流程:
1.客户端发起RPC请求到NameNode
2.NameNode收到请求后,将这个操作更新到edits文件以及内存中
3.NameNode更新完内存中的元数据之后,会给客户端返回一个ack信号,表示已经删除成功,但此时这个文件并没有真正的从DataNode上删除.
4.等到DataNode发送心跳信息给NameNode的时候,NameNode收到心跳信息后.NameNode发现DataNode和自己身上的元数据信息不一致,就会通知DataNode删除对应的文件块

偶尔想起你
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
分布式文件系统实现互斥写入
ljyss9的博客
02-13 126
本文会简单介绍常见的分布式锁实现方案，方案在实际使用中所存在的问题，以及利用dfs特性实现分布式文件互斥写入、删除。
Hadoop之HDFS分布式文件系统读写流程详解
hzqing的博客
07-12 3338
1、名词解释：        NameNode：                ①、整个文件系统的管理节点。维护着整个文件系统的文件目录，文件/目录的元信息和每个文件对应的数据块列表。接收用户的操作请求。                ②、文件包括:                               fsimage:元数据镜像文件。存储某一段NameNode内存元数据信息。
操作分布式文件之八：如何批量并行读写远程文件和事务补偿处理
05-29 867
FileBatch类提供了一系列对批量并行读写操作支持（包括对FttpAdapter和FileAdapter），它跟并行读写的区别是不需要检查结果，会等到所有并行读写任务全部完成才返回，并在发生异常时提供事务补偿支持。 1、批量并行读： public Result[] readAllBatch(TryByteReadAdapter[] fras) 实现对多个FttpReadAdapter任务
MFS分布式存储系统(2)-文件写入方式与文件恢复、存储类
小螺号的博客
04-21 272
文章目录一、文件写入方式与文件恢复1.文件写入2.文件恢复二、存储类1.添加chunk server节点1.示例12.示例2 一、文件写入方式与文件恢复 1.文件写入 mfs默认的单个chunk大小为50M,如果写入文件大于50M,则mfs会为其分配多个chunk来存储 mfs写入过程图解： 2.文件恢复 [root@foundation1 mfs]# cd dir1 [root@foundation1 dir1]# ls passwd [root@foundation1 dir1]# rm -rf
HDFS分布式文件系统具备的优点共2页.pdf.zip
10-28
《HDFS分布式文件系统的优势详解》 Hadoop Distributed File System（HDFS）是Apache Hadoop项目的核心组件之一，它是一个高度容错性的分布式文件系统，专为处理大规模数据集而设计。HDFS的设计理念和特性使其在大...
04：HDFS分布式文件系统.zip
最新发布
03-08
《HDFS分布式文件系统详解》 Hadoop Distributed File System（HDFS）是Apache Hadoop项目的核心组件之一，它是一个高容错、可扩展的分布式文件系统，专为处理大规模数据而设计。HDFS的设计目标是将大型数据集分布...
hadoophdfs写入文件原理详解共2页.pdf.zip
10-30
本文件“hadoophdfs写入文件原理详解共2页.pdf.zip”虽然只有短短两页，但应该涵盖了HDFS文件写入的关键流程。以下是基于该主题的详细知识解析： 1. **HDFS架构**：HDFS是由NameNode和DataNode组成的。NameNode作为...
HDFS文件系统
02-26
### HDFS文件系统详解 #### 一、HDFS概述与分布式文件系统概念 Hadoop分布式文件系统（HDFS）作为Hadoop项目的核心组成部分之一，它为海量数据提供了高吞吐量的数据访问，非常适合大规模数据集的处理。HDFS的设计...
分布式搜索引擎写入和查询的工作流程
zjuwzp的博客
08-17 230
1、es写数据过程 1）客户端选择一个node发送请求，这个node就是coordinating node（协调节点）。 2）coordinating node，对document进行路由，将请求转发给对应的node（有primary shard）。 3）实际的node上的primary shard处理请求，然后将数据同步到replica node。 4）coordinating node，如果发...
分布式文件系统（HDFS）读写流程
weixin_46015057的博客
05-28 1310
HDFS数据副本机制 ​1、第一份数据来源于用户的客户端 ​2、第二份数据存放在与第一份副本在同一个机架，不同的节点，按照一定的机制（cpu 内存 io 使用率和节点磁 盘剩余容量）选取一个节点进行存放 ​3、第三份副本存放在，与第一第二副本不在同一机架，且逻辑距离最近的机架上，按照一定的机制（cpu 内存 io 使用率和节点磁盘剩余容量），选择一个节点进行存放 NameNode的三大作用 ​1、维护、管理HDFS的目录数-元数据-名字空间 ​2、确定指定的文件块到具体的DataNode结点的映射关系。
分布式文件系统HDFS原理篇
iva_brother的博客
05-26 5610
所谓分布式文件系统就是通过网络实现文件在多台主机上进行分布式存储的文件系统！它一般采用“客户端/服务器端”的模。 分布式文件系统的结构 如下图所示，分布式文件系统在物理结构上是由计算机集群的多个节点构成的。这些节点分为主节点（Namenode,也叫做名称节点）和从节点（Datanode，也叫做数据节点）。其中主节点负责文件和目录的创建、删除和重命名等，同时管理着从节点和文件块的映射关系，因此客...
Java: Hadoop文件系统的读写操作
彭世瑜的博客
11-24 1830
所需jar包路径： hadoop-2.8.5/share/hadoop/common hadoop-2.8.5/share/hadoop/common/bin hadoop-2.8.5/share/hadoop/hdfs hadoop-2.8.5/share/hadoop/hdfs/bin java代码实例 import org.apache.hadoop.conf.Configuration...
分布式文件系统HDFS
williamjame的博客
01-07 8750
1.1简介 HDFS实现目标 兼容廉价的硬件设备 实现流数据读写 支持大数据集 支持简单的文件模型 强大的跨平台兼容性 HDFS自身的局限性 不适合低延迟数据访问 无法高效存储大量小文件 不支持多用户写入及任意修改文件 2.1概念 块的概念 支持面向大规模数据存储 降低分布式节点的寻址开销 HDFS采用这种抽象的块的概念设计好处 1.支持大规模文件存储:
Http接口获取数据写入Hdfs
weixin_33828101的博客
10-17 713
数据源类型：数组列表 [{field:value}, {field:value}, {field:value}, {field:value}] 1. 定义http数据源链接 package com.etl.datalink; import java.util.Map; public class LinkHttp { private Str...
ClickHouse系列--分布式表写入流程
IT云清
05-28 3179
摘要：在向ck集群写入数据的过程，有2种方案，一种是直接写本地表，一种是通过Distributed表引擎写分布式表。本文介绍写分布式表的核心流程。 先假定场景和统一命名： 我们假设有cluster1,和cluster2两个集群。 本地表log_local对应的分布式表为log_all。 假设请求A进来后请求到cluster1的分布式表log_all，要写入100条数据。 1.第一个分片写本地数据 1）cluster1节点接收到请求后，会根据分片键/分片表达式计算这100条数据的分片划分，一部分应该到clus
通过Java代码对HDFS进行写入与查看操作
bujiujie8的博客
01-20 4965
这篇来介绍一下往HDFS写数据与查看文件信息的操作. 1.读取本地文件,并写入至HDFS. import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.*; import org.apache.hadoop.io.IOUtils; import java.io.*; import java.net.URI...
ES分布式写入的数据一致性问题
走向程序的康庄大道
10-02 3881
ES数据写入过程 ES索引由多个分片组成，分片有主分片和副本分片，且主分片和副本不能同时在同一节点上。可以看到，ES数据写入是一个分布式的过程。假设客户端发送批量写请求，ES写入过程如下： 1）协调节点接收到写请求，并做参数校验处理、生成id等； 2）计算每条数据归属的主分片，形成Map<ShardId, List<RequestBulkItem>>列表； 3）根据上面的列表，协调节点异步并行转发到所属分片； 4）主分片接收到协调节点转发过来的请求，先由lucene写入pa
探讨高并发写入文件内容
xuebingnan的博客
07-02 695
读写相关的问题是永远存在的，文件锁就是为了解决这个问题而做的，其实它就是个简单的信号量。读写相关性指由于同时读写文件造成文件数据的随机性冲突。为了明确知道在何时通过何种操作对更改或是读取了文件中的那些数据，有必要对操作进行序列化，原子化，同步化，使用户能确知在何时文件中有什么数据。文件锁就是其中一个工具。 文件系统一般有两种锁，共享锁及排它锁，也可被称为读锁和写锁。 文件系统锁的特点： 一个文件打...
厦门大学林子雨：HDFS详解与大数据分布式文件系统应用
在《大数据技术原理与应用》一书中，作者林子雨，厦门大学计算机科学系教授，深入讲解了第三章的主题——分布式文件系统HDFS。这一章节首先介绍了分布式文件系统的基本概念，包括计算机集群的结构，如如何将文件分散...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值