前述
前段时间,公司刚开始往HDFS append File时,用的是hadoop-hdfs-WebHDFS API 进行的,运行了3个多月一切正常,当我对项目进行重构时,上线不到两周就出现了
AlreadyBeingCreatedException,append File一直被Forbidden,老大以为是我改代码的问题,开始问题没有确认,只好背着黑锅,硬着头皮看代码,找错误。后来发现HDFS
的append功能确实存在问题,其他公司也出现过这个问题。这样我总算松了口气,不多说,切入正题。
HDFS Append File 功能
这个功能也是最近才提出来的。设计文档,问题见JIRA Issue
Further investigation revealed that the following sequence leads to AlreadyBeingCreatedExcepti