HDFS高扩展机制

Popcorn丶30

已于 2022-08-07 11:34:06 修改

阅读量588

点赞数

文章标签：大数据 hadoop

于 2022-08-07 11:28:33 首次发布

本文链接：https://blog.csdn.net/cblock1/article/details/126207731

版权

本文详细探讨了HDFS的高可用性和扩展性机制，包括元数据的高可用、数据存储的高可用以及元数据和数据存储的高扩展性。介绍了HDFS的主备切换、BookKeeper日志系统、RAID和多副本方案，以及解决小文件问题的策略。此外，还讨论了集群中的长尾问题、数据可靠性、负载均衡的重要性和copyset的概念。

摘要由CSDN通过智能技术生成

一、元数据高可用

高可用的需求

故障类型：硬件故障、软件故障、人为操作不当、机房断电、机房空调停机、机房网络拥塞

可用性：99.9%，全年8.76小时不可用；99.99%，全年52.6分钟不可用；99.999%，全年5.26分钟不可用（难度高）

HDFS高可用架构

Active NameNode：提供服务的 NameNode 主节点，生产 editlog。

Standby NameNode：不提供服务，起备份作用的 NameNode 备节点，消费 editlog

editlog：用户变更操作的记录，具有全局顺序，是 HDFS 的变更日志。

ZooKeeper：开源的分布式协调组件，主要功能有节点注册、主节点选举、元数据存储。

BookKeeper：开源的日志存储组件，存储 editlog

ZKFC：和 ZK、NN 通信，进行 NN 探活和自动主备切换。

HA Client：处理 StandbyException，在主备节点间挑选到提供服务的主节点。

HDFS主备切换

DataNode 心跳与块汇报需要同时向 active NN 和 standby NN 上报，让两者可以同时维护块信息。但只有 active NN 会下发 DN 的副本操作命令。

content stale 状态：在发生主备切换后，新 active NN 会标记所有 DN 为 content stale 状态，代表该 DN 上的副本是不确定的，某些操作不能执行。直到一个 DN 完成一次全量块上报，新 active NN 才标记它退出了 content stale 状态。
- 例子，多余块的删除：NN 发现某个块的副本数过多，会挑选其中一个 DN 来删除数据。在主备切换后，新 active NN 不知道旧 active NN 挑选了哪个副本进行删除，就可能触发多个 DN 的副本删除，极端情况下导致数据丢失。content stale 状态的引入解决了这个问题。