Hadoop：NameNode工作图解

Hadoop：NameNode工作图解

记录hadoop学习之旅的问题和笔记，89lovelc,加油

NameNode 工作机制图解

• 
• namenode 工作
  • 1.在第一次格式化的时候，会创建fsimages和edits文件,如果不是第一次启动的话，就会把编辑日志(edits文件)和镜像文件(fsimages)加载内存中。
  • 2.客户端对元数据进行CRUD操作。
  • 3.namenode接收到操作，先将操作记录写到操作日志中，更新滚动日志。
  • 4.namenode在内存中对数据进行CRUD操作(先写入日志，留下存根，如果服务重启了可以从日志中恢复操作)。
• secondary namenode 工作
  • 1.secondary namenode 询问namenode是否需要checkpoint,得到namenode返回结果。
    • checkpoint
      • 操作次积累100w(hdfs-core.xml dfs.namenode.checkpoint.txns)
      • 时间间隔1h (hdfs-core.xml dfs.namenode.checkpoint.period)
  • 2.secondary namenode 请求执行checkpoint
  • 3.namenode 滚动正在写的日志，进行截断
  • 4.将滚动的edit文件和fsimages文件 copy到secondary namenode。
  • 5.secondary namenode 将 edits文件和 fsimage 文件加载到内存进行合并。
  • 6.生成新的镜像文件fsimage.chkpoint
  • 7.copy fsimage.chkpoint 到namenode
  • 8.namenode 将 fsimage.chkpoint 重新命名 fsimage , 并且删除之前合并的 edits文件