Premature EOF from inputStream错误的不同原因

2019独角兽企业重金招聘Python工程师标准>>>

    今天例行的任务报Premature EOF from inputStream的错误（具体log被刷屏刷掉了）。根据这个关键信息去网上搜了下，有说lzo压缩指定方式不对的MapReduce使用lzo压缩注意，也有说节点或者通信出问题，或者文件操作超租期，实际上就是data stream操作过程中文件被删掉了，后者的意思在后知后觉下其实已经比较接近我遇到的情况了。

    因此，我先检查了集群的节点，都是正常；而lzo的能性也因为最近没有对任务做更新也就排除了。

    最后一个偶然去检查了下存储的数据，发现有一个lzo文件size是0，检查其它天的文件没有这样的情况，直觉告诉我问题就出在这儿。问了同事也发现昨天有个机子日志打满，导致产出的lzo文件也为0，于是更加确定是这个问题。

    0size的文件现在已经移除也补上了正常的数据。如果不是这个原因，我待会儿再来吐槽。

转载于:https://my.oschina.net/iuranus/blog/359482