大数据-NameNode工作机制

NameNode工作机制

NameNode的工作职责

（1）负责客户端的请求及响应

（2）管理元数据

NameNode对元数据的存储方式

（1）内存元数据(NameSystem)

（2）磁盘元数据镜像文件

（3）数据操作日志文件（可通过日志运算出元数据）

NameNode

（1）NameNode格式化，创建fsimage和fsedits文件

（2）NameNode启动，加载fsedits和fsimage到内存

（3）HDFS客户端对元数据进行增删改查

（4）NameNode更新内存

Secondary NameNode

（1）Secondary NameNode请求是否需要checkpoint

（2）NameNode响应请求，返回结果

（3）Secondary NameNode请求执行checkpoint

（4）NameNode滚动当前正在写的fsedits

（5）NameNode将滚动的fsedits和fsimage拷贝到Secondary NameNode

（6）Secondary NameNode加载fsedits和fsimage到内存并合并

（7）Secondary NameNode生成新的fsimage.chkpoint

（8）Secondary NameNode将新的fsimage.chkpoint拷贝到NameNode

（9）NameNode将fsimage.chkpoint重新命名成fsimage

参考资料：http://hadoop.apache.org/docs/stable2/hadoop-project-dist/hadoop-hdfs/HdfsUserGuide.html