hdfs的高可用机制

最新推荐文章于 2023-09-21 11:27:28 发布

近来

最新推荐文章于 2023-09-21 11:27:28 发布

阅读量338

点赞数

分类专栏： hadoop

本文链接：https://blog.csdn.net/qq_45841239/article/details/109169394

版权

本文详细介绍了Hadoop HDFS的高可用机制，包括通过hdfs和zookeeper实现的双namenode架构，其中active和standby状态的切换由ZKFC和journalnode协同完成。此外，还探讨了Hadoop的联邦机制，以解决大规模集群中namenode的内存瓶颈问题，实现命名空间的水平扩展和datanode资源共享。

摘要由CSDN通过智能技术生成

在Hadoop集群中，namenode管理整个hdfs系统的元数据信息，直接决定hdfs文件系统的可用性，那么在一个典型的Hadoop集群中，有两台机器被配置为namenode，一台为active，另一台为standy状态。工作中active负责工作，standy保持足够的状态来提供快速故障切换。

hdfs和zookeeper实现高可用机制

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-W0nV0eA8-1603113366622)(https://s1.ax1x.com/2020/09/18/wfHOpR.png)]

journalnode 为元数据的共享文件系统，用来同步active namenode和standby namenode两个机器之间的源数据同步，active向journalnode集群中写入日志数据，而standby只能读取journalnode集群中数据，且journalnode集群中也是高可用的，元数据在每个journnode机器中都是有备份的。

而zookeeper集群来调度和保证namenode的高可用。