Flume-ng HDFS Sink “丢数据”

http://blog.51cto.com/boylook/1308188

线上对Flume流入HDFS配置path:p1，每分钟切一个文件，定期从p1从move完成的（rename）文件到外部表进行计算分析，发现有“丢数据”现象：即在p1下经常看到几GB的.tmp文件，查看Flume日志发现当出现CallTimeout Exception :HDFS IO ERROR后，sink一直向.tmp写入，而不进行rename.

Flume HDFS Sink正常写入流程见：http://boylook.blog.51cto.com/7934327/1298627

默认情况下，当BucketWriter flush超过calltimeout（default:10s）时，会报出异常，这时可能HDFS或者网络异常，如果恰好到达了rollinterval，bucketWriter执行close->flush也会报出同样的异常：Unexpectederror，没有执行到renameBucket，此后该bucketWriter保持打开状态（因为intervalroll只在bucketWriter打开时进行一次调度），一直进行数据写入不再roll直到1.创建写的路径2.Flume重启 3.打开到达maxOpenFiles，这些是不可接受的.

查看源码发现在每次flush时会判断是否使用idleTime，如果使用则会调度一个idleHandler thread进行清理：1.关闭bucketWriter 2.从LRUList中摘除掉bucketWriter，而默认竟然是不启用的=.=，后设置idleTime稍大于roll interval后，不再出现“数据丢失”

BTW，对于HDFS SINK，callTimeout和idleTimeout的默认值真是太傻了...