hadoop
文章平均质量分 85
莱恩大数据
就职于大型金融互联网科技公司,参与多个高并发分布式大型项目的研发与设计,技术领域涉及数据治理、数据分流、数据同步,一个热衷于Java大数据技术的爱好者!
展开
-
HDFS SecondaryNameNode的checkpoint流程示意图
为什么需要checkpoint?NN和2NN工作机制:思考:NameNode中的元数据是存储在哪里的?首先,我们做个假设,如果存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了。因此产生在磁盘中备份元数据的FsImage。这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新FsImage,就会导致效率过低,但如果不更新,就会发生一致性问题,一旦N原创 2021-12-03 16:10:55 · 304 阅读 · 0 评论 -
HDFS读写流程(最新史上最详细)
Namenode 和 DatanodeHDFS采用master/slave架构。一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。Namenode是一个中心服务器,负责管理文件系统的名字空间(namespace),以及客户端对文件的访问。负责元数据(hdfs的目录结构及每一个文件的块信息【块的id,块的副本数量,块的存放位置<datanode>】)的存储,namenode的实时的完整的元数据存储在内存中;namenode还会在磁盘中(dfs.namenode原创 2021-12-03 15:19:31 · 9191 阅读 · 1 评论