目录
namenode
存储: 整个文件系统的命名空间和文件快的地址映射(Blockmap)
负责:文件元信息的操作以及处理客户端的请求
管理:Hdfs文件系统的命名空间NameSpace
维护:文件系统树(FileSystem)以及文件树中所有的文件和文件夹的元数据信息(metadata),维护文件到块的对应关系和块到节点的对应关系
文件:namespace镜像文件(fsimage),操作日志文件(edit log)
记录: 每个文件中各个块所在的数据节点的位置信息,在namenode启动时,Datanode向namenode进行注册给namenode
Namenode中元数据存储在哪里?
如果存储在磁盘中,效率过低,存在内存中断电后源数据丢失。
因此先写入内存,再磁盘中备份fsimage,但是还是有效率低的问题,引入editlog(只追加),每当增加、修改元数据时,修改内存中元数据,并追加到editlog,这样namenode一断电,可以通过合并FsImage和editlog,得到完整元数据信息。
但是editlog不断写入,会越来越大,namenode启动会花费很长的时间,需要另起一个进程来合并fsimage和editlog。
namenode HA
-
Active Namenode
hdfs对外提供读写服务的唯一master节点,维护着文件的元数据,包括①文件名、副本数、文件的BlockID以及Block所在的服务器等。同时②会接受来自Client端的读写请求,和③接受DataNode的Block信息上报。
-
Standby Namenode
从JournalNode中读取EditLog数据并更新内存,以保证当前状态尽可能与主节点同步
-
JournalNode Cluster
用于主备namenode之间共享Editlog的一致性共享存储系统。 流程是主节点先将EditLog文件push进JournalNode,备节点再从JournalNode节点Pull数据,JournalNode不主动进行数据交换。 集群由2N+1个JournalNode、可以容忍N台节点挂掉
-
ZKFailoverController(ZKFC)
zkfc负责监控namenode健康状况、借助zookeeper实现namenode自主选主,操作Namenode进行主从切换
ZKFailoverController以独立进程运行,正常情况下每个ZKFC都会监控自己负责的Namenode的心跳,如果异常,则会断开与Zookeeper的连接,释放分布式锁,另一个Namenode上的ZKFC则会获取锁,然后把对应的Namenode的状态从Standby切换到Active。