flume断点续传

使用Flume做日志收集，flume+kafka做日志收集存储，后面接es存历史日志，storm用于实时分析。对于历史日志来说，尽可能做到不丢不重，实际经验内网环境kafka还是很稳定可靠的，丢日志主要发生在flume重启，所以针对flume进行改造，实现断点续传。主要环境及配置，jdk7，flume1.6版本，agent使用内存channel。自扩展source基于原生ExecSource改造，sink由KafkaSink改造。背景：我们日志文件名格式有2种，一种是按时间段分隔，比如文件名为debug.log，debug.log.2016-05-18-15，debug.log.2016-05-18-14，...；另一种为msg.log，msg.log.1，msg.log.2，...

设计思路

设计思路：

• 1. 在sink往kafka发送完后，记录原始日志文件及行号信息到record文件（记录文件内容只有几个字节，内容为：debug.log,2016-05-18-15,265。第二个字段为时间槽或者文件的最后修改的long型毫秒时间）
• 2. 每次重启时，在source中检查rec