HDFS的工作原理

1:HDFS的nameNode的工作原理？

答：客户端上传文件时首先会去访问nameNode，nameNode会将这个文件切割成多少个block块，存放在那些dataNode节点上、block块的大小等这些元数据信息返回给客户端，同时将这些元数据信息写入到一个edits.log的日志文件中；客户端知道后找到相应的dataNode节点上传完block块后会去告诉nameNode，nameNode知道以后会将这些元数据信息写入到内存中；在nameNode中有一个fsImage的镜像文件，它和内存元数据互为镜像，当edits.log文件写满64M的时候，nameNode会去通知secondNameNode做一个checkPoint的操作，secondNameNode会去告诉nameNode停止往edits.log里面继续写入元数据，它会生成一个edits.log.new的文件，元数据继续写入到新的edits.log.new的文件里面，同时，secondNameNode会从nameNode中下载edits.log和fsImage文件，将两个文件做一个合并，生成一个fsImage.checkpoint文件，然后将这个文件上传到nameNode中，替换掉原来的fsImage文件，做一个重命名，同时删掉edits.log文件，将edits.log.new文件重命名为edits.log文件,这样就保证了元数据的一致性，edits.log文件中始终有最新的元数据信息，fsImage镜像文件保存有之前的元数据信息。