hadoop异常处理之exceeds the limit of concurrent xcievers 256

异常描述

java.io.IOException: xceiverCount 258 exceeds the limit of concurrent xcievers 256
        at org.apache.hadoop.hdfs.server.datanode.DataXceiver.run(DataXceiver.java:165)

查看datanode日志存在*:50010:DataXceiver error processing WRITE_BLOCK operation  src

异常分析

文件操作超租期，实际上就是data stream操作过程中文件被删掉了。之前也遇到过，通常是因为Mapred多个task操作同一个文件，一个task完成后删掉文件导致。

不过这次在hdfs上传文件时发生了这个异常，导致上传失败

解决方案

修改hdfs-site.xml

  <property>
        <name>dfs.datanode.max.xcievers</name>
        <value>8192</value>
</property>

拷贝到各datanode节点并重启datanode即可