DFSOutputStream ResponseProcessor exception

最新推荐文章于 2021-03-04 15:03:10 发布
最新推荐文章于 2021-03-04 15:03:10 发布
阅读量1.9k 收藏 1
点赞数
分类专栏： hadoop 文章标签： 大数据 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iteye_2655/article/details/82339363
版权

 

WARN org.apache.hadoop.hdfs.DFSClient: DFSOutputStream ResponseProcessor exception  for block blk_7400268305159146046_1226436java.net.SocketTimeoutException: 66000 millis timeout while waiting for channel to be ready for read. ch : java.nio.channels.SocketChannel[connected local=/ ip:38201 remote=/ip:50010]

        at org.apache.hadoop.net.SocketIOWithTimeout.doIO(SocketIOWithTimeout.java:164)

        at org.apache.hadoop.net.SocketInputStream.read(SocketInputStream.java:155)

        at org.apache.hadoop.net.SocketInputStream.read(SocketInputStream.java:128)

        at java.io.DataInputStream.readFully(DataInputStream.java:178)

        at java.io.DataInputStream.readLong(DataInputStream.java:399)

        at org.apache.hadoop.hdfs.protocol.DataTransferProtocol$PipelineAck.readFields(DataTransferProtocol.java:124)

        at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$ResponseProcessor.run(DFSClient.java:2964)

 

2012-06-06 08:12:09,333 WARN org.apache.hadoop.hdfs.DFSClient: Error Recovery for block blk_7400268305159146046_1226436 bad datanode[0]  ip :50010

 

 

这是一个写HDF超时问题，在 hdfs-site.xml 增大dfs.datanode.socket.write.timeout和dfs.socket.timeout两个配置项即可。

 

iteye_2655
关注
专栏目录
reduce端缓存数据过多出现FGC，导致reduce生成的数据无法写到hdfs
快乐程序员的专栏
12-04 6747
reduce端缓存数据过多出现FGC，导致reduce生成的数据无法写到hdfs：搜索推荐有一个job，1000多个map，200个reduce，运行到最后只剩一个reduce（10.39.6.130上）的时候，出现以下异常，导致job失败。
Exception in createBlockOutputStream java.net.SocketException: 打开的文件过多
蔡先生的专栏
03-29 4308
执行MapReduce程序报如下错误： 15/03/29 22:35:13 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.net.SocketException: 打开的文件过多     at sun.nio.ch.Net.socket0(Native Method)     at sun.nio.ch.Net
Intel Processor Exception Handling
diaoju3333的博客
12-04 126
当一个进程的行为超出预期时，系统将把它kill掉。 On Intel IA-32 and Intel 64 architecture processors, each architecturally-defined exception is assigned a unique identification number called a vector. The processor us...
ARM Processor Exception
cfy_phonex的专栏
08-31 1473
ARM Processor Exception 虽然依赖于硬件实现，当一个给定的预定义事件发生时， 大多数ARM处理器都提供了专用硬件来进入调试模式。 大多数较新的ARM处理器提供了捕捉异常的硬件单元。 如果使能该硬件单元，其效果类似于在选定的向量表入口 放置一个断点， 这被成为是 vector catch。 然而， 1） 一些ARM处理器， 例如 ARM7, 没有
DFSOutputStream
I am not a quitter.
06-15 1500
客户端负责数据写入处理的核心类是DFSOutputStream，该类是DFSClient的内部类，同时它的内部包含三个内部类：数据包发送器DataStreamer、数据包确认处理器ResponseProcessor和数据包封装器Packet。       class DFSOutputStream extends FSOutputSummer implements Syncable{}
hadoop海量put时出现的socket超时导致put失败解决方案
dy_252的专栏
09-21 892
当一个HDFS系统同时处理许多个并行的put操作，往HDFS上传数 据 时，有时候会出现dfsclient 端发生socket 链接超时的报错，有的时候甚至会由于这种原因导致最终的put操作失败，造成数据上传不完整。 log类似如下： All datanodes  *
hadoop配置运行错误总结(1)
分布式应用与服务器架构专栏
10-30 6514
感觉这位兄台总结还蛮好的，所以特把这两篇转帖过来，其中第十一点总结还是来自我的博客总结，嘿嘿。   新手搞hadoop最头疼各种各样的问题了，我把自己遇到的问题以及解决办法大致整理一下先，希望对你们有所帮助。 一、hadoop集群在namenode格式化（bin/hadoop namenode -format）后重启集群会出现如下 Incompatible namespaceIDS i
hbase常见错误整理3年运维经验整理
11-28
2012-03-02 12:11:21,983 WARN org.apache.hadoop.hdfs.DFSClient: DFSOutputStream ResponseProcessor exception for block blk_1439491087566691588_6207 java.net.SocketTimeoutException: 69000 millisecond ...
从DFSOutputStream的pipeline写机制到Streamer线程泄漏问题
走在前往架构师的路上
02-18 7584
前言之前一段时间写了篇文章DataNode数据处理中心DataXceiver从大的方向了解了下datanode读写操作的过程.但是并没有具体细粒度的去关注读写操作中的细节以及可能存在的问题,本篇文章算是对这方面的一个补充吧.尽管本文所涉及的范围面看起来很窄,但是所呈现出来的结果一定会让你有所收获的.DFSOutputStream写数据以及周边相关类,变量本文主要阐述的datanode写数据的过程,
Spark Debug
weixin_40901056的博客
05-25 1359
报错：大数据量没问题，小数据量报错 java.io.EOFException: Premature EOF: no length prefix available at org.apache.hadoop.hdfs.protocolPB.PBHelper.vintPrefixed(PBHelper.java:2326) at org.apache.hadoop.hdfs.protocol.data...
hbase异常regionserver宕机
wfp458113181wfp的专栏
09-15 1万+
1、直接崩溃，yi
hadoop上传脚本出现问题
zhaoguoxian12345的专栏
02-19 736
最近经常发现hadoop的上传脚本出现问题：    解决方法：     当一个HDFS系统同时处理许多个并行的put操作，往HDFS上传数据 时，有时候会出现dfsclient 端发生socket 链接超时的报错，有的时候甚至会由于这种原因导致最终的put操作失败，造成数据上传不完整。 log类似如下： All datanodes  *** are bad. Aborting...
Hadoop使用常见问题以及解决方法 .
管子（zero）的杂乱空间
12-25 606
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。 /etc/security/limits.confvi /etc/security...
java hadoop 超时_Hadoop 文件上传超时原因分析
weixin_30769833的博客
03-04 685
hadoop上传数据问题2011-06-14 22:07当一个HDFS系统同时处理许多个并行的put操作，往HDFS上传数据时，有时候会出现dfsclient 端发生socket 链接超时的报错，有的时候甚至会由于这种原因导致最终的put操作失败，造成数据上传不完整。log类似如下：All datanodes *** are bad. Aborting...类似这样的错误，常常会在并行的put操...
在大并发写时，HBase的HDFS DFSClient端报SocketTimeoutException的问题分析和解决
热门推荐
zhaokunwu的专栏
03-09 2万+
异常日志： 2012-03-02 12:11:21,983 WARN org.apache.hadoop.hdfs.DFSClient: DFSOutputStream ResponseProcessor exception  for block blk_1439491087566691588_6207java.net.SocketTimeoutException: 69000 millis
Hadoop海量put时出现的socket超时导致put失败解决方案
大数据框架Hadoop学习
05-16 1095
当一个HDFS系统同时处理许多个并行的put操作，往HDFS上传数据 时，有时候会出现dfsclient 端发生socket 链接超时的报错，有的时候甚至会由于这种原因导致最终的put操作失败，造成数据上传不完整。 log类似如下： All datanodes *** are bad. Aborting... 类似这样的错误，常常会在并行的put操作比较多，比如 60-80个，每个put的数...
拉开大变革序幕（下）：分布式计算框架与大数据
02-02 1万+
因为对大数据处理的需求，使得我们不断扩展计算能力，集群计算的要求导致分布式计算框架的诞生，用廉价的集群计算资源在短短的时间内完成以往数周甚至数月的运行等待，有人说谁掌握了庞大的数据，谁就主导了需求。虽然在十几年间，通过过去几十年的积淀，诞生了mapreduce，诞生了分布式文件系统，诞生了霸主级别的Spark，不知道这是不是分布式计算框架的终点，如果还有下一代的处理框架，必然来自更大规模的数据，我想
Hadoop常见错误及解决办法
sunyang098的博客
11-30 5317
1，错误一：java.io.IOException: Incompatible clusterIDs 时常出现在namenode重新格式化之后 2014-04-29 14:32:53,877 FATAL org.apache.hadoop.hdfs.server.datanode.DataNode: Initialization failed forblock pool Block pool
Android Native Exception详解：流程、原因与调试
Android Native Exception 是一个与Android操作系统内核异常处理相关的主题，主要关注Native程序在Android环境中遇到的问题和解决方案。本文档详细探讨了以下几个关键知识点： 1. **NativeExceptionFlow**： ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值