hdfs客户端操作appendToFile往原有文件中追加文件报错 The current failed datanode replacement policy is DEFAULT,

今天在学hadoop Shell客户端启动,在往hdfs原有文件中追加文件发现以下问题:
1):如果集群中的文件是空文件,则能追加进去。
2):如果集群中的文件有内容,则追加的时候会报错。
java.io.IOException: Failed to replace a bad datanode on the existing pipeline due to no more good datanodes being available to try. (Nodes: current=[DatanodeInfoWithStorage[192.168.59.13:50010,DS-7feab941-bbe9-4760-8459-08894ff8bdbe,DISK], DatanodeInfoWithStorage[192.168.59.14:50010,DS-c43301df-a9f0-4801-b985-6f0cad6f03b5,DISK]], original=[DatanodeInfoWithStorage[192.168.59.13:50010,DS-7feab941-bbe9-4760-8459-08894ff8bdbe,DISK], DatanodeInfoWithStorage[192.168.59.14:50010,DS-c43301df-a9f0-4801-b985-6f0cad6f03b5,DISK]]). The current failed datanode replacement policy is DEFAULT, and a client may configure this via 'dfs.client.block.write.replace-datanode-on-failure.policy' in its configuration. at org.apache.hadoop.hdfs.DataStreamer.findNewDatanode(DataStreamer.java:1281) at org.apache.hadoop.hdfs.DataStreamer.addDatanode2ExistingPipeline(DataStreamer.java:1353) at org.apache.hadoop.hdfs.DataStreamer.handleDatanodeReplacement(DataStreamer.java:1568) at org.apache.hadoop.hdfs.DataStreamer.setupPipelineForAppendOrRecovery(DataStreamer.java:1469) at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:708)
查阅资料发现,往空文件中追加就相当于直接写文件,所以能追加进去,而往有内容的文件中追加不进去是因为datanode节点数不够三个,再克隆一台虚拟机,加到hdfs集群中就能解决问题。

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值