本文介绍了使用Flume进行日志收集时如何实现断点续传，以确保在Flume重启后能继续从上次停止的位置收集日志。主要内容包括设计思路、设计图和部分实现细节。设计思路涉及在sink记录原始日志文件和行号信息，source在重启时检查记录文件，根据文件状态决定从何处继续tail日志，并利用快照文件处理遗漏的日志。同时，文章提到了在实现过程中的关键点，如使用ByteBuffer减少IO操作，避免kill -9强制结束Flume等。
使用Flume做日志收集，flume+kafka做日志收集存储，后面接es存历史日志，storm用于实时分析。对于历史日志来说，尽可能做到不丢不重，实际经验内网环境kafka还是很稳定可靠的，丢日志主要发生在flume重启，所以针对flume进行改造，实现断点续传。主要环境及配置，jdk7，flume1.6版本，agent使用内存channel。自扩展source基于原生ExecSource改造，sink由KafkaSink改造。背景：我们日志文件名格式有2种，一种是按时间段分隔，比如文件名为debug.log，debug.log.2016-05-18-15，debug.log.2016-05-18-14，...；另一种为msg.log，msg.log.1，msg.log.2，...
设计思路
设计思路：
- 1. 在sink往kafka发送完后，记录原始日志文件及行号信息到record文件（记录文件内容只有几个字节，内容为：debug.log,2016-05-18-15,265。第二个字段为时间槽或者文件的最后修改的long型毫秒时间）
- 2. 每次重启时，在source中检查rec
最低0.47元/天 解锁文章
扫一扫
8433
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
