java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink as

最新推荐文章于 2023-06-08 02:04:27 发布
最新推荐文章于 2023-06-08 02:04:27 发布
阅读量2.2k 收藏 1
点赞数
分类专栏： 大数据 文章标签： java hadoop hdfs
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_48959845/article/details/123555776
版权

今天在向hadoop上传文件时报这样一个错误

2022-03-17 17:17:11,994 INFO hdfs.DataStreamer: Exception in createBlockOutputStream blk_1073741946_1137
java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink as 120.78.239.136:9866
	at org.apache.hadoop.hdfs.protocol.datatransfer.DataTransferProtoUtil.checkBlockOpStatus(DataTransferProtoUtil.java:134)
	at org.apache.hadoop.hdfs.protocol.datatransfer.DataTransferProtoUtil.checkBlockOpStatus(DataTransferProtoUtil.java:110)
	at org.apache.hadoop.hdfs.DataStreamer.createBlockOutputStream(DataStreamer.java:1778)
	at org.apache.hadoop.hdfs.DataStreamer.nextBlockOutputStream(DataStreamer.java:1679)
	at org.apache.hadoop.hdfs.DataStreamer.run(DataStreamer.java:716)
2022-03-17 17:17:11,998 WARN hdfs.DataStreamer: Abandoning BP-1890970308-172.25.12.163-1646541195774:blk_1073741946_1137
2022-03-17 17:17:12,007 WARN hdfs.DataStreamer: Excluding datanode DatanodeInfoWithStorage[120.78.239.136:9866,DS-87287b18-21ac-4314-884e-d78b139945b8,DISK]

结果为
在这里插入图片描述
slave1没有副本

结果竟然是slave1没有关闭防火墙

低级错误

炸鸡叔老白
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Spark报错： IOException: Bad connect ack with firstBadlink as xxx:500010
九师兄
07-04 769
1.美图 2.背景 执行一个spark任务报错 INFO: Exception in createBlockOutputStream INFO - java.io.IOException: Bad connect ack with firstBadLink as ×.×.×.×:50010 at org.apache.hadoop.hdfs.DFSOutputStream$DataS...
Hive报错和解决办法
bigdata_wangzhe的博客
03-19 1746
firstBadLink错误 报错： Caused by: java.io.IOException: Bad connect ack with firstBadLink as 192.168.2.24:50010 解决方法：动态分区数太多，需要提高文件句柄数， root账户下vi /etc/security/limits.conf End of file hadoop - nofile 65536 metastore报错 报错： Binary logging not possible. Message: T
java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink as 192.168.206.
最新发布
qq_43494013的博客
06-08 350
java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink as 192.168.206.
云服务器hadoop踩坑史：java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink
okkkay的博客
03-29 821
解决云服务器搭建hadoop报错：java.io.IOException: Got error, status=ERROR, status message , ack with firs
java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink as ip:端口(亲测有效)
ergouy's blog
03-13 7479
最近运行Hadoop程序的时候遇到了这个Bug，很久才改好，做一些必要的笔记，一来是对自己学习的知识的巩固，二来对有同样问题的人有参考作用。 文章目录一 问题描述二 解决思路和步骤1. 关闭集群中所有节点的防火墙2. 测试集群中节点的联通性3. 测试节点的控制性4. 修改防火墙的设置三 修改完成后的结果四 总结 一 问题描述 执行程序时，在控制台报的错(或者类似的错误)： 在Hadooop的日志中的错误(或者类似的错误)： 2021-03-12 22:21:14,316 INFO hdfs.D.
java.io.IOException: Got error, status message , ack with firstBadLink
weixin_41608066的博客
01-10 1342
写HDFS任务时不时发送Checkpoint超时，查看了日志发下如下异常： location:org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1495) throwable:java.io.IOException: Got error, status message , ack with firstBadLink as ip:port at org.apache.
hdfs相关问题及解决方案归档
weixin_44976835的博客
08-26 2587
目录问题1：reduce预处理阶段shuffle时获取已完成的map的输出失败次数超过上限问题2：Too many fetch-failures问题3：处理MR速度特别的慢问题4：能够启动datanode，但无法访问，也无法结束问题5：节点断联问题6：JVM内存不够问题7：Hadoop添加节点的方法问题8：给单个node新加硬盘问题9：IO写操作出现问题问题10：HDFS退服节点的方法问题11：IO异常问题12：status of 255 error问题13：sort by value问题14：restar
关于机房交换机故障导致HDFS NameNode挂掉的问题（续）
sdn_prc的专栏
11-17 3418
过程是痛苦的，后面的结论是令人不安的。 上一篇的分析，确定了至少两个个结论： 一、如果总体上active NN写JNs出问题，那么active NN就主动调用terminate，进程退出； 二、JNs的相关的一个配置项：dfs.namenode.shared.edits.dir，这个配置项中出现的JN的信息，对NN来说一定是“required”的。 这篇后续的分析，解释“总
sqoop用法——数据全量导入(导出)、增量导入(导出)
weixin_47303949的博客
06-10 1185
1.把MySQL的表导入hdfs bin/sqoop list-databases -connect jdbc:mysql://192.168.130.29:3306/ -username root -password xxx 可以查看MySQL的所有数据库 注意：关闭防火墙，否则会报Got error, status=ERROR, status message , ack with firstBadLink as 192.168.130.30:9866错误 bin/sqoop import \
如何解决 java.io.IOException: Got error, status message , ack with firstBadLink
john_deng2的博客
09-29 6169
当我们遇到以下问题的时候，我们可以在对应的集群服务器那里关闭相应的防火墙。 [root@hadoop01 hadoop-2.7.7]# hdfs dfs -put ./README.txt / 19/09/29 18:47:11 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.io.IOException: Got er...
hadoop文件系统操作java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink问题解决
分享技术，传播知识!
12-08 3950
hadoop文件系统操作java.io.IOException: Got error, status=ERROR, status message , ack with firstBadLink问题解决 hadoop集群搭建好之后，迫不及待的想用一下，就把一个文件上传至hdfs中吧，没想到中间报了一个问题，如下： [root@hadoop01 bin]# ./hadoop fs -ls / [root@hadoop01 bin]# ./hadoop fs -mkdir /csdn [root@hadoop01
java.io.IOException: Got error, status message , ack with firstBadLink as 192.168.*.* 50010
侠客小虎的博客
04-06 9626
关闭DataNode的服务器的防火墙即可，命令如下：     $ systemctl stop firewalld.service $ systemctl disable firewalld.service
java.io.IOException: Got error, status message , ack with firstBadLink as 192.168.9.102:50010 at or
JavaBigData的博客
05-23 517
hdfs上传文件只有部分节点有副本 部分节点防火墙关闭，部分未关闭
DataNode上执行文件读写时报java.io.IOException: Bad connect ack with firstBadLink as 192.168.X.X错误解决记录...
weixin_30670925的博客
08-08 416
今天在集群上看到有两个任务跑失败了： Err log: In order to change the average load for a reducer (in bytes): set hive.exec.reducers.bytes.per.reducer=<number> In order to limit the maximum...
HDFS上传文件保存Got error, status message , ack with firstBadLink
l1394049664的博客
09-08 4435
[root@node1 ~]# hadoop fs -put test.txt  /test.txt 18/09/08 07:40:56 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 1...
配置hadoop副本数为3但是发现只有一个文件？并且报错 java.io.IOException: Got error, status message , ack with firstBadLink
热门推荐
诗水人间
10-23 13万+
出现这种问题的原因是其他服务器的防火墙没有关闭，需要关闭防火墙才才能将文件同样传给另外的服务器。 输入sudo systemctl stop firewalld.service 即可关闭防火墙，就可以访问到下面的页面 永久关闭sudo systemctl disable firewalld.service 然后重新上传文件试试 可以使用 -put 或moveFromLocal h...
Bad connect ack with firstBadLink 192.168.1.14:50010
zhoujj303030的专栏
11-09 2642
hadoop 集群节点在写数据的时候总是出现 “Bad connect ack with firstBadLink 192.168.1.14:50010
java connect with_java.io.IOException: Bad connect ack with firstBad
weixin_34858011的博客
03-04 124
[hadoop@master ~]$touch bigfile.tar[hadoop@master ~]$cat hadoop-2.5.2.tar.gz >> bigfile.tar[hadoop@master ~]$ touch bigfile.tarcat[hadoop@master ~]$[hadoop@master ~]$[hadoop@master ~]$cat hadoop...
java.io.IOException: Prepare failed.: status=0x1
04-04
The status code 0x1 indicates a generic error, so the specific cause of the error is not clear from this message alone. Possible causes of this error could include problems with the audio or video ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

炸鸡叔老白

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值