本文介绍了HDFS PR HDFS-16348，当DataNode变为慢节点时，如何将其标记为badnode并从pipeline中移除，以及Pipeline恢复过程。Namenode通过心跳响应告知DataNode是否为慢节点，如果超过阈值，客户端会踢除慢节点并重建pipeline。PipelineAck和ResponseProcessor在这一过程中起到关键作用。
本文的主要内容是介绍这个PR（Pull Request）：HDFS-16348. Mark slownode as badnode to recover pipeline (#3704)
通过本文可以获得如下知识：
- datanode如何获得自己是SLOW状态的？
- PipelineAck类的字段详解。
- Client侧将慢datanode标记为bad datanode后剔除掉以及添加一个新datanode到pipeline的过程。
先说下这个PR的前置基础知识以及主要思路，后面再详细分析源码：
在HDFS中，Datanode会定期地向Namenode进行心跳汇报。Namenode接收到Datanod的心跳后，会发送心跳响应给Datanode，心跳响应中会包含Datanode指令、此Datanode是否是慢节点等信息。Datanode接收到Namenode的心跳响应后，解析其中的内容，拿到是否是SLOW节点的信息。
为什么这里Datanode SLOW的信息是由Namenode侧返回的呢？
答：因为一个datanode并不能知道自己是不是慢节点，它慢是由其它的datanode或客户端在读写的时候统计出来的读写时间超过某个配置的阈值才叫慢&#x
订阅专栏 解锁全文
1506
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
