我在看完namenode和2NN机制后有这样一个疑问:为什么NameNode要依靠2NN进行编辑日志和镜像文件的合并,自身为什么不周期性的合并加载至内存
按我个人的理解就是客户端在请求操作元数据更改时,内存会暂时将该操作保存,先进行edits日志更新,持久化至硬盘,然后内存再进行数据的运算更新。如果此时内存不会保存该操作,而是通过Fsimage和刚更新的edits对内存进行操作,就相当于此时多了一步硬盘重新加载至内存的操作。如果是依靠自身的周期性合并日志,那么就意味着此时内存并没有被修改(否则同一步操作会被执行多次)。而且因为展示给客户端的数据是实时更新的,不能说要等namenode自身周期性更新内存数据,客户端才能观察到之前的操作结果。
所以namenode的机制是在开机时才会从Fsimage和edits中重新加载至内存,因为内存数据会在机器宕机后消失,所以需要重新加载。如果没有定期合并Fsimage和edis,会导致重新加载内存数据的过程十分缓慢。