1.Hadoop2特点
答:在Hadoop2中NameNode可以扩展成多个,每个NameNode分别管理一部分目录,进而产生了HDFS Federation,而其是为解决HDFS单节点故障提出的横向解决方案,增强了HDFS的扩展性与隔离性,其中新的Yarn是分担MapReduce文件管理工作的。(高可靠性,高效性,高扩展性,高容错性)
2.HDFS和zookeeper如何实现高可用
答:(1)启用主节点和备用主节点:两台主节点形成互相备份,一台为启用状态,另一台为备用状态。只有启用的主节点才能对外提供读写服务。备用的主节点仅仅可以同步启用主节点的日志文件和接受数据节点的数据块报告。
(2)故障转移控制器:作为独立的进程运行,主要是对主备节点切换进行总体的控制。故障转移控制器运行在主节点上,当检测到故障时,借助Zookeeper实现自动的主备选举和切换。
(3)共享存储系统:实现HDFS高可用的最重要的部分,保存了主节点运行过程中所产生的HDFS的元数据。主节点和备用主节点可以通过共享存储系统实现元数据同步。在主备切换时,新启用的主节点在确认元数据完全同步完成之后,才可以对外提供开放。
(4)数据节点:除了通过共享存储系统共享元数据之外,启用的主节点和备用的主节点还需要共享数据块与数据节点之间的映射关系。
第四章2021—4—9
最新推荐文章于 2022-12-02 16:49:00 发布