FileSystem设计思想总结

NN的职责：

1.维护元数据信息
内存中有一份，磁盘中也有一个fsimage,然后最新的操作在edits log 里面，隔一段时间，还会把fsimage和edits log进行合并，内存里面是实时更新的，每增加一个文件，上传到集群里面，内存里面就会增加一条，内存里面永远是最新的，但是fsimage 要和 edits log合并才能保持一致性，所以会隔段时间去对峙，合并的操作叫作checkpoint，这个checkpoint的触发有两个条件，
1）间隔时间，两次checkpoint 之间有一次时间间隔，达到一定时间，它也会去触发这个操作
2）edits log达到一个预设的大小，就是做一个checkpoint
2.维护HDFS的目录树
虚拟目录结构是NN管理，NN会提供一个虚拟的目录结构，根目录下建文件夹，上传的文件在那个文件夹，这个文件夹在物理主机上是不存在的，物理主机里面的数据都是放在Hadoop的工作目录下，datanode 里面就有一个工作目录，全部放在那里面
3.响应客户端的请求
客户端去读文件，写读文件都是先跟NN通信的，去查元数据，然后才去中datanode ,这个过程全部封装在NN里面实现，客户端也封装一些实现，客户端的写读文件都是和集群的交互过程，即客户端和服务端都有实现才能交互，即有一个类将这些实现都封装起来–Java中的FileSystem–客户端与服务端交互的逻辑都封装在这里面