架构师源码专栏
大数据架构师源码
pub.ryan
专注于大数据
展开
-
HDFS租约机制: HDFS写BLock块及数据同步到磁盘时如何保证数据一致性
前言 在HDFS中,当每次客户端用户往某个文件中写入数据的时候,为了保持数据的一致性,此时其它客户端程序是不允许向此文件同时写入数据的。那么HDFS是如何做到这一点的呢?答案是租约(Lease)。换句话说,租约是HDFS给予客户端的一个写文件操作的临时许可证,无此证件者将不被允许操作此文件。本文我们将要深入分析HDFS内部的租约机制,包括租约的添加、移除、管理操作等等。 HDFS租约的概念 HDFS租约可能很多使用HDFS的人都或多或少都知道一些,大致的理解一般如下:“客户端在每次读写HDFS文件的时原创 2020-12-25 14:12:26 · 618 阅读 · 0 评论 -
HDP2: HDFS 写、读、CheckPoint流程、元数据内容(内存元数据、元数据文件)
一、HDFS写流程 流程: 1.客户端向NameNode通信请求上传文件,附带path 2.namenode进行检查 检查的内容: hdfs的文件目录 权限检查 集群状态 租约检查 3.NameNode返回是否可以上传 4.得到肯定回复后,客户端切块,再次请求存放的datanode地址。 5.响应返回给客户端dn1,dn2,dn3的地址 6.客户端向datanode请求建立管道:DataNode 1收到请求会继续调用DataNode 2,然后DataNode 2调用Data.原创 2020-12-25 13:50:28 · 332 阅读 · 0 评论 -
HDP1: HDFS架构基础
学习目标:高可用、单机元数据内存受限、源码设计 HDFS是如何实现有状态的高可用架构——HA解决单节点故障 HDFS是如何从架构上解决单机内存受限问题——元数据内存受限问题 HDFS能支撑起亿级流量的核心源码的设计 一、HDFS架构演进 1、Hadoop的三个版本:对应的三个HDFS版本 Hadoop1、2、3 HDFS 1、2、3 Hadoop1重点解决的两上问题: 海量数据如何存储 海量数据如何进行计算 2、HDFS1.0的架构: HDFS原创 2020-12-22 23:27:28 · 515 阅读 · 0 评论