HDFS DeadNode Detection机制

最新推荐文章于 2021-10-20 12:19:57 发布

Android路上的人

最新推荐文章于 2021-10-20 12:19:57 发布

阅读量1.4k

点赞数 1

本文链接：https://blog.csdn.net/Androidlushangderen/article/details/103106967

版权

本文介绍了HDFS中DFSClient的DeadNode检测机制，探讨了现有问题及改进方案，包括DFSInputStream的DeadNode共享，以及通过状态机跟踪DataNode的liveness状态，以提高读文件效率并减少误判。

摘要由CSDN通过智能技术生成

前言

在大规模集群中，节点挂掉的现象是十分常见。当节点挂掉的时候，上面所跑的任务或者发送到这个节点的请求将会失败。按照分布式系统的正常处理方法，它会选择另外的节点进行重新的数据请求。这种重试机制在一定程度上可以解决因为节点意外挂掉导致的请求失败情况，但是这种方式并不是高效的。假设每次的重试代价比较高时，这个时候我们其实更期待能提前检测到这些挂掉的节点。因此我们需要有一套DeadNode节点的监测机制来帮助我们做这样的事情。本文笔者来聊聊关于社区目前在做的关于HDFS DeadNode节点的Detection机制的相关内容。

HDFS DFSClient现有DeadNode监测

在HDFS中，读写文件操作是由DFSClient所操作的。DFSClient代表的一个客户端对象，DFSClient可以open多个DFSInputStream去读多个不同的文件。

DFSClient用DFSInputStream读文件时，假若发现有类似节点连接不上的问题，会将连接不上的节点加入到DFSInputStream的本地节点列表内。这样的话，当此DFSInputStream对象在选后续节点时，就会避开那些之前发现的dead node。

但是这里有个问题是，以上的DFSInputStream所监测出的节点都是维护在local的，并不是在DFSClient内全局shared。这会造成一个问题，DFSInputStream1在读文件A时，监测到node1是dead node，然后DFSInputStream2在读文件时，又重复监测到了node1的dead node。这里其实我们看到就存在了重复的dead node的监测。但其实我们可以完全在一个DFSClient下将这些dead node信息