hdfs namenode/datanode工作机制

一. namenode工作机制

1. 客户端上传文件时，namenode先检查有没有同名的文件，如果有，则直接返回错误信息。如果没有，则根据要上传文件的大小以及block的大小，算出需要分成几个block，指定每个block存在哪个datanode上，之后把这些元数据写到edits log中并返回给客户端。

2. 客户端拿到元数据后，驱动会把上传的文件分block，并把各个block上传到对应的datanode上，如果上传成功的话，客户端会收到上传成功信息，全部上传成功之后，客户端会把成功信息返回给namenode，namenode就把这次上传操作对应的元数据信息写到内存中。

3. edits log文件达到一定条件时，需要将内容整合到fsimage文件中去(fsimage是最终存储元数据的文件，很大)，这就需要secondarynamenode上场了。

edits log整合到fsimage文件的条件：

① edits log文件大小达到最大值，默认64M，由hdfs-site.xml配置文件的fs.checkpoint.size配置项指定

② 两次checkpoint的时间达到最大时间间隔，默认3600秒，由 hdfs-site.xml配置文件的fs.checkpoint.period配置项指定

当满足以上2个条件的任一个时，namenode会立刻通知secondarynamenode进行checkpoint操作，同时停止往edits log文件写内容，而是写入一个新的edits log文件，比如说叫做edits.new。secondarynamenode会把namenode中的fsimage文件和edits log文件下载过来，然后进行合并操作，合并完之后再把新的fsimage文件上传到namenode中。namenode会把edits.new文件重命名为edits log文件，直到再次写满，再次让secondarynamenode帮助进行合并操作。

元数据在namenode节点主机存放路径:

/home/koushengrui/app/hadoop-2.7.4/data/dfs/name/current，其中/home/koushengrui/app/hadoop-2.7.4/data是在core-site.xml配置文件中hadoop.tmp.dir配置项指定的值。dfs代表hdfs，name代表namenode，与name同级的目录还有data目录、namesecondary目录，其中data目录存放datanode的数据，namesecondary目录存放secondarynamenode的数据。

元数据的格式：

/test/a.log, 3 ,{blk_1,blk_2}, [{blk_1:[h0,h1,h3]},{blk_2:[h0,h2,h4]}]

其中/test/a.log表示上传的文件的虚拟目录，3表示文件有3个副本，blk_1、blk_2分别表示block1、block2，{blk_1:[h0,h1,h3]}表示blk_1三个副本分别在h0、h1、h2主机上，{blk_2:[h0,h2,h4]}表示blk_2的三个副本分别放在h0、h2、h4主机上。

namenode的职责：

1.相应客户端请求

2.维护元数据信息

3.维护hdfs的目录树

二. datanode工作机制

datanode提供文件存储服务，换句话说上传的文件是以分block的方式存储在datanode节点上的。block的最大大小在hdfs-site.xml配置文件由dfs.block.size配置项指定，默认是128M，可以根据实际需求增大或者减小。

文件实际存储路径是/home/koushengrui/app/hadoop-2.7.4/data/dfs/data/current/BP-13819656-192.168.100.100-1502801926683/current/finalized/subdir0/subdir0，即datanode节点的主机的hadoop.tmp.dir目录，dfs/data子目录中(上面介绍namenode时也提到过)。在此目录中可以看到很多以blk_开头的文件，这些文件就是上传的、分块后的文件。其实利用这些block文件可以得到原来的文件，把这些block文件按顺序拼装好之后就与之前上传的文件完全相同。

转载于:https://www.cnblogs.com/koushr/p/5873383.html