背景:读取整条日志,并将日志推送给kafka。
思路:
1:使用正则表达式区分整条日志。
2:利用grok正则拆分日志要素 组成json字符串推送给kafka。
3:为了避免多次查询读取配置是否改变在redis中存如客户系统的识别信息和是否改变配置的标识。
4:第一次运行定时器向数据库读取日志采集配置,其他时间如果标识为未改变则仍用现存配置,否则重新读取。
日志采集器实现思路
最新推荐文章于 2023-10-06 10:44:08 发布
背景:读取整条日志,并将日志推送给kafka。
思路:
1:使用正则表达式区分整条日志。
2:利用grok正则拆分日志要素 组成json字符串推送给kafka。
3:为了避免多次查询读取配置是否改变在redis中存如客户系统的识别信息和是否改变配置的标识。
4:第一次运行定时器向数据库读取日志采集配置,其他时间如果标识为未改变则仍用现存配置,否则重新读取。