本文目录
题外话
在介绍到 NN 和 2NN 工作机制之前,我们先来思考一下(NameNode中的元数据是存储在哪里的?)这个问题:
1.NameNode和SecondaryNameNode工作机制
1.NameNode中的元数据是存储在哪里的?
首先做个假设,如果元数据存储在NameNode节点的磁盘中,因为经常需要进行随机访问,还有响应客户请求,必然是效率过低
。因此,元数据需要存放在内存中。但如果只存在内存中,一旦断电,元数据丢失,整个集群就无法工作了
。因此产生了在磁盘中备份元数据的 FsImage。
这样又会带来新的问题,当在内存中的元数据更新时,如果同时更新FsImage,就会导致
效率过低,但如果不更新,就会发生
数据一致性问题,一旦NameNode节点断电,就会产生数据丢失。因此,引入Edits(编辑日志)文件(只进行追加操作,效率很高)。每当元数据有更新或者添加元数据时,修改内存中的元数据并追加到Edits中
。这样,一旦NameNode节点断电