datanode报错：java.io.IOException:Premature EOF from inputStream

HDSF datanode报错如下：

 

原因：文件操作超租期，实际上就是data stream操作过程中文件被删除了，通常是因为Mapred多个task操作同一个文件，一个task完成后删掉文件导致。这个错误跟dfs.datanode.max.transfer.threads参数到达上限有关。这个是datanode同时处理请求的任务上限，总默认值是4096，该参数取值范围[1to8192]

 

更改操作：

修改每个datanode节点的hadoop配置文件hdfs-site.xml：

增加dfs.datanode.max.transfer.threads属性的设置，设置为8192