hdfs 采用append方式追加数据时报错

最新推荐文章于 2023-04-14 18:25:37 发布

yjh314

最新推荐文章于 2023-04-14 18:25:37 发布

阅读量1k

点赞数

分类专栏： hadoop

hadoop 专栏收录该内容

3 篇文章 0 订阅

订阅专栏

本文介绍了一个在HDFS中使用文件追加方式进行文件合并时遇到的问题及解决方案。问题表现为在关闭输出流时出现IOException错误，原因是无法替换故障数据节点。通过在客户端配置文件hdfs-site.xml中设置特定参数来解决此问题。

摘要由CSDN通过智能技术生成

问题描述：

使用hdfs文件append的方式合并文件：

FSDataOutputStream out = fileSystem.append(desPath, Parameters.BUFFER_SIZE);

在out close时报错：

Java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try.
(Nodes: current=[10.6.222.13:50010], original=[10.6.222.13:50010]). The current failed datanode replacement policy is DEFAULT, and a client may configure this via 'dfs.client.block.write.replace-datanode-on-failure.policy' in its configuration.

解决方式：

在客户端的hdfs-site.xml中增加配置项：

<property>
          <name>dfs.client.block.write.replace-datanode-on-failure.enable</name>
          <value>true</value>
    </property>

    <property>
          <name>dfs.client.block.write.replace-datanode-on-failure.policy</name>
          <value>NEVER</value>
    </property>