DFSOutputStream ResponseProcessor exception

最新推荐文章于 2021-04-10 19:25:09 发布
最新推荐文章于 2021-04-10 19:25:09 发布
阅读量1.9k 收藏 1
点赞数
分类专栏： hadoop 文章标签： 大数据 java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/iteye_2655/article/details/82339363
版权

 

WARN org.apache.hadoop.hdfs.DFSClient: DFSOutputStream ResponseProcessor exception  for block blk_7400268305159146046_1226436java.net.SocketTimeoutException: 66000 millis timeout while waiting for channel to be ready for read. ch : java.nio.channels.SocketChannel[connected local=/ ip:38201 remote=/ip:50010]

        at org.apache.hadoop.net.SocketIOWithTimeout.doIO(SocketIOWithTimeout.java:164)

        at org.apache.hadoop.net.SocketInputStream.read(SocketInputStream.java:155)

        at org.apache.hadoop.net.SocketInputStream.read(SocketInputStream.java:128)

        at java.io.DataInputStream.readFully(DataInputStream.java:178)

        at java.io.DataInputStream.readLong(DataInputStream.java:399)

        at org.apache.hadoop.hdfs.protocol.DataTransferProtocol$PipelineAck.readFields(DataTransferProtocol.java:124)

        at org.apache.hadoop.hdfs.DFSClient$DFSOutputStream$ResponseProcessor.run(DFSClient.java:2964)

 

2012-06-06 08:12:09,333 WARN org.apache.hadoop.hdfs.DFSClient: Error Recovery for block blk_7400268305159146046_1226436 bad datanode[0]  ip :50010

 

 

这是一个写HDF超时问题，在 hdfs-site.xml 增大dfs.datanode.socket.write.timeout和dfs.socket.timeout两个配置项即可。

 

iteye_2655
关注
专栏目录
从DFSOutputStream的pipeline写机制到Streamer线程泄漏问题
走在前往架构师的路上
02-18 7552
前言之前一段时间写了篇文章DataNode数据处理中心DataXceiver从大的方向了解了下datanode读写操作的过程.但是并没有具体细粒度的去关注读写操作中的细节以及可能存在的问题,本篇文章算是对这方面的一个补充吧.尽管本文所涉及的范围面看起来很窄,但是所呈现出来的结果一定会让你有所收获的.DFSOutputStream写数据以及周边相关类,变量本文主要阐述的datanode写数据的过程,
Exception in createBlockOutputStream java.net.SocketException: 打开的文件过多
蔡先生的专栏
03-29 4284
执行MapReduce程序报如下错误： 15/03/29 22:35:13 INFO hdfs.DFSClient: Exception in createBlockOutputStream java.net.SocketException: 打开的文件过多     at sun.nio.ch.Net.socket0(Native Method)     at sun.nio.ch.Net
Intel Processor Exception Handling
diaoju3333的博客
12-04 120
当一个进程的行为超出预期时，系统将把它kill掉。 On Intel IA-32 and Intel 64 architecture processors, each architecturally-defined exception is assigned a unique identification number called a vector. The processor us...
ARM Processor Exception
cfy_phonex的专栏
08-31 1450
ARM Processor Exception 虽然依赖于硬件实现，当一个给定的预定义事件发生时， 大多数ARM处理器都提供了专用硬件来进入调试模式。 大多数较新的ARM处理器提供了捕捉异常的硬件单元。 如果使能该硬件单元，其效果类似于在选定的向量表入口 放置一个断点， 这被成为是 vector catch。 然而， 1） 一些ARM处理器， 例如 ARM7, 没有
DFSOutputStream
I am not a quitter.
06-15 1481
客户端负责数据写入处理的核心类是DFSOutputStream，该类是DFSClient的内部类，同时它的内部包含三个内部类：数据包发送器DataStreamer、数据包确认处理器ResponseProcessor和数据包封装器Packet。       class DFSOutputStream extends FSOutputSummer implements Syncable{}
hadoop海量put时出现的socket超时导致put失败解决方案
dy_252的专栏
09-21 866
当一个HDFS系统同时处理许多个并行的put操作，往HDFS上传数 据 时，有时候会出现dfsclient 端发生socket 链接超时的报错，有的时候甚至会由于这种原因导致最终的put操作失败，造成数据上传不完整。 log类似如下： All datanodes  *
Hadoop使用常见问题以及解决方法 （转）
张伟的专栏
03-02 8574
Hadoop使用常见问题以及解决方法 . 作者：keda8997110　和linux相关   http://biancheng.dnbcw.info/linux/441854.html 1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-out Answer： 程序里面需要打开多个文件，进行分析，系统一般默认数
hbase常见错误整理3年运维经验整理
11-28
2012-03-02 12:11:21,983 WARN org.apache.hadoop.hdfs.DFSClient: DFSOutputStream ResponseProcessor exception for block blk_1439491087566691588_6207 java.net.SocketTimeoutException: 69000 millisecond ...
Spark Debug
weixin_40901056的博客
05-25 1346
报错：大数据量没问题，小数据量报错 java.io.EOFException: Premature EOF: no length prefix available at org.apache.hadoop.hdfs.protocolPB.PBHelper.vintPrefixed(PBHelper.java:2326) at org.apache.hadoop.hdfs.protocol.data...
reduce端缓存数据过多出现FGC，导致reduce生成的数据无法写到hdfs
快乐程序员的专栏
12-04 6717
reduce端缓存数据过多出现FGC，导致reduce生成的数据无法写到hdfs：搜索推荐有一个job，1000多个map，200个reduce，运行到最后只剩一个reduce（10.39.6.130上）的时候，出现以下异常，导致job失败。
hadoop伪分布式错误总结
yonghutwo的专栏
04-10 1187
最近在做hadoop平台实现if-tef算法，遇到些错误，整理了一下。 先说环境：ubuntu 12.4, hadoop1.1.2伪分布式，操作文件个数4000多个，然后输出4000多个文件 第一个错误： 14/03/26 23:47:11 WARN hdfs.DFSClient: DataStreamer Exception: org.apache.hadoop.ipc.RemoteE
hadoop配置运行错误总结(1)
分布式应用与服务器架构专栏
10-30 6505
感觉这位兄台总结还蛮好的，所以特把这两篇转帖过来，其中第十一点总结还是来自我的博客总结，嘿嘿。   新手搞hadoop最头疼各种各样的问题了，我把自己遇到的问题以及解决办法大致整理一下先，希望对你们有所帮助。 一、hadoop集群在namenode格式化（bin/hadoop namenode -format）后重启集群会出现如下 Incompatible namespaceIDS i
hbase异常regionserver宕机
wfp458113181wfp的专栏
09-15 1万+
1、直接崩溃，yi
hadoop上传脚本出现问题
zhaoguoxian12345的专栏
02-19 720
最近经常发现hadoop的上传脚本出现问题：    解决方法：     当一个HDFS系统同时处理许多个并行的put操作，往HDFS上传数据 时，有时候会出现dfsclient 端发生socket 链接超时的报错，有的时候甚至会由于这种原因导致最终的put操作失败，造成数据上传不完整。 log类似如下： All datanodes  *** are bad. Aborting...
Hadoop使用常见问题以及解决方法 .
管子（zero）的杂乱空间
12-25 593
1：Shuffle Error: Exceeded MAX_FAILED_UNIQUE_FETCHES; bailing-outAnswer：程序里面需要打开多个文件，进行分析，系统一般默认数量是1024，（用ulimit -a可以看到）对于正常使用是够了，但是对于程序来讲，就太少了。修改办法：修改2个文件。 /etc/security/limits.confvi /etc/security...
java hadoop 超时_Hadoop 文件上传超时原因分析
weixin_30769833的博客
03-04 671
hadoop上传数据问题2011-06-14 22:07当一个HDFS系统同时处理许多个并行的put操作，往HDFS上传数据时，有时候会出现dfsclient 端发生socket 链接超时的报错，有的时候甚至会由于这种原因导致最终的put操作失败，造成数据上传不完整。log类似如下：All datanodes *** are bad. Aborting...类似这样的错误，常常会在并行的put操...
在大并发写时，HBase的HDFS DFSClient端报SocketTimeoutException的问题分析和解决
热门推荐
zhaokunwu的专栏
03-09 2万+
异常日志： 2012-03-02 12:11:21,983 WARN org.apache.hadoop.hdfs.DFSClient: DFSOutputStream ResponseProcessor exception  for block blk_1439491087566691588_6207java.net.SocketTimeoutException: 69000 millis
hadoop的DFSOutputStream
和大黄的博客
03-20 4276
<br />当我们用命令:<br /><br />hadoop fs -copyFromLocal localfile hdfs://...<br />将本地文件复制到HDFS时，其背后的复制过程是怎样的？本地文件通过什么方式传输到datanode上的呢？<br /><br />这里面很显然的是：<br />1、文件在多个电脑之间进行了传输（至少有2台电脑：本地电脑和一个datanode节点）。<br />2、如果文件超过一个block的大小（默认是64M），那么将一个文件分割成多个block是在哪里发生的
Hadoop系列——异常处理（org.apache.hadoop.hdfs.DFSClient - DataStreamer Exception）
哈哈书架
01-03 4992
报错： WARN org.apache.hadoop.hdfs.DFSClient - DataStreamer Exception org.apache.hadoop.ipc.RemoteException: File /user/erp_finance/erp_finance_dw/hdp/ods_third_party_zfb_bill_m/year=2019/month=12/1_...
Android Native Exception详解：流程、原因与调试
Android Native Exception 是一个与Android操作系统内核异常处理相关的主题，主要关注Native程序在Android环境中遇到的问题和解决方案。本文档详细探讨了以下几个关键知识点： 1. **NativeExceptionFlow**： ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值