hadoop 总结

目录

namenode

Namenode中元数据存储在哪里？

namenode HA

Active Namenode

Standby Namenode

JournalNode Cluster

ZKFailoverController(ZKFC)

---

namenode

存储: 整个文件系统的命名空间和文件快的地址映射(Blockmap)

负责：文件元信息的操作以及处理客户端的请求

管理：Hdfs文件系统的命名空间NameSpace

维护：文件系统树(FileSystem)以及文件树中所有的文件和文件夹的元数据信息（metadata）,维护文件到块的对应关系和块到节点的对应关系

文件：namespace镜像文件(fsimage),操作日志文件(edit log)

记录: 每个文件中各个块所在的数据节点的位置信息，在namenode启动时，Datanode向namenode进行注册给namenode

Namenode中元数据存储在哪里？

如果存储在磁盘中，效率过低，存在内存中断电后源数据丢失。

因此先写入内存，再磁盘中备份fsimage,但是还是有效率低的问题，引入editlog（只追加），每当增加、修改元数据时，修改内存中元数据，并追加到editlog,这样namenode一断电，可以通过合并FsImage和editlog，得到完整元数据信息。

但是editlog不断写入，会越来越大，namenode启动会花费很长的时间，需要另起一个进程来合并fsimage和editlog。

namenode HA

• Active Namenode

hdfs对外提供读写服务的唯一master节点，维护着文件的元数据，包括①文件名、副本数、文件的BlockID以及Block所在的服务器等。同时②会接受来自Client端的读写请求，和③接受DataNode的Block信息上报。

• Standby Namenode

从JournalNode中读取EditLog数据并更新内存，以保证当前状态尽可能与主节点同步

• JournalNode Cluster

用于主备namenode之间共享Editlog的一致性共享存储系统。 流程是主节点先将EditLog文件push进JournalNode,备节点再从JournalNode节点Pull数据，JournalNode不主动进行数据交换。 集群由2N+1个JournalNode、可以容忍N台节点挂掉

• ZKFailoverController(ZKFC)

zkfc负责监控namenode健康状况、借助zookeeper实现namenode自主选主，操作Namenode进行主从切换

ZKFailoverController以独立进程运行，正常情况下每个ZKFC都会监控自己负责的Namenode的心跳，如果异常，则会断开与Zookeeper的连接，释放分布式锁，另一个Namenode上的ZKFC则会获取锁，然后把对应的Namenode的状态从Standby切换到Active。

参考：Hadoop重点难点：HDFS读写/NN/2NN/DN