NameNode工作机制和DataNode副本工作机制

2019独角兽企业重金招聘Python工程师标准>>>

   

    NameNode（以下简称NN）的工作机制：

    1、用户上传数据的操作保存内存缓存中，同时往edits.log文件写入

    2、edits.log文件是一个临时的日志文件，且随着edits.log文件达到一定大小之后会将数据写入到另一个edits.log2文件，因此会产生多个edits.log小文件

    3、多个edits.log小文件通过SecondaryNameNode（以下简称SN）节点最终保存在本地的fsimage文件中的

    4、NN每隔一段时间向SN发送checkpoint请求（fsimage和edits.log的合并）

    5、SN从NN上下载fsimage和edits.log文件，然后请求edits.log文件更改文件名为edits.new

    6、SN将fsimage和edits.log在内存合并运算、整合，生成新的fsimage.checkpoint，通知NN

    7、NN接到通知后从SN下载fsimage.checkpoint

    8、NN将fsimage.checkpoint和edits.new文件改回原来的名字

---

    DataNode（以下简称DN）的副本生成机制：

    DN采用pipeline（管道）机制对数据进行副本的复制，客户端从提交到DN时只有一个副本，DN根据NN传来的各个主机形成一个管道，一旦有数据往DN的第一个节点传输数据时，DN就会往管道内的其他DN节点异步通过网络复制数据，只有当所有节点拷贝完成，这个管道才算成功，否则DN会向NN通知复制副本失败，NN接收到DN失败请求，会根据拷贝好的成功的节点和失败的节点做一个调整，重新形成新的管道（例如：有3个节点在传输，假如3个节点传输失败，这个管道就失败了，NN在重新选择的时候会将传输成功的第2个节点与其他非原来第3个节点的节点再次形成管理进行副本的复制）

转载于:https://my.oschina.net/u/2377453/blog/425008