spark-shell报错：java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to

官乐

已于 2023-05-18 10:03:15 修改

阅读量519

点赞数 1

分类专栏：编程报错解决记录文章标签： spark java 大数据

于 2023-05-11 10:08:16 首次发布

本文链接：https://blog.csdn.net/weixin_49588575/article/details/130615590

版权

编程报错解决记录专栏收录该内容

3 篇文章

订阅专栏

文章描述了在使用Spark-shell时遇到的一个问题，即由于集群中3个DataNode节点中的一个出现故障，而默认副本数设置为3，导致无法找到额外的DataNode进行替换。解决方案是在hdfs-site.xml配置文件中设置`dfs.client.block.write.replace-datanode-on-failure.policy`为`NEVER`，阻止尝试添加新DataNode。但当DataNode节点数量小于等于3时，这种策略并不推荐。

摘要由CSDN通过智能技术生成

问题

spark-shell在执行一段时间后报错：java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try.
并未执行其他指令，系统自动报错

报错信息

没有办法来替换一个坏掉的DataNode节点，因为在已经存在的流水线里没有一个好的DataNode节点可以来更换；

原因

集群共有3个DataNode节点，而设置的默认副本数是3个。在执行写入到HDFS的操作时，当一台Datanode写入失败时，它要保持副本数为3,它就会去寻找一个可用的DataNode节点来写入，可是我的流水线上就只有3 台DataNode节点，所以导致会报错Failed to replace a bad datanode

解决方案

在hdfs-site.xml 文件中添加下面几行代码

<property>
	<name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
	<value>NEVER</value>
</property>

参考apache官方文档得知 NEVER: never add a new datanode.
相当于设置为NEVER之后，就不会添加新的DataNode，一般来说，集群中DataNode节点小于等于3 都不建议开启

spark-shell报错：java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to

目录

问题

报错信息

原因

解决方案