filebeat收集java日志_filebeat采集多个项目日志 | 吴老二

filebeat采集的日志内容包含java项目的和nginx日志，前期规划不同服务的日志路径应该进行区分。我们这里没有区分，java项目的日志和nginx的日志都存在一个路径下，导致在收集日志的时候，java项目的日志收集到了，但是nginx的日志在message中会有多条日志内容，这样采集的服务日志只能有一个可以使用，最主要的是日志的格式不一样，java项目的日志格式是以时间开头，nginx的日志是以IP开头。filebeat采集的规则可以选择多个，这里使用了参数"|"也就是or的意思。

............................................................

data:

filebeat.yml: |-

filebeat.inputs:

- type: container

paths:

- /var/log/containers/*.log

document_type: "english-server"

multiline.pattern: '^[0-9]{4}-[0-9]{2}-[0-9]{2}\ [0-9]{2}:[0-9]{2}:[0-9]{2}|(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)'

multiline.negate: true

multiline.match: after

processors:

..............................................................

在multiline.pattern中添加了两个正则分别是以[0-9]{4}-[0-9]{2}-[0-9]{2}\ [0-9]{2}:[0-9]{2}:[0-9]{2}开头的行或2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)\.(25[0-5]|2[0-4]\d|[0-1]\d{2}|[1-9]?\d)开头的行，进行收集。收集的日志根据正则把日志内容进行按行划分，这样有一个痛点就是日志采集都写到一个文件中了，到最后一个日志文件有2-3T的大小，查询没有太大的问题，不过备份的时候就比较困难了。如果针对项目进行区分，可以使用tag，给每个项目的日志路径打一个tag，然后在写到es时根据项目名称写入。这样比较简单，不过比较麻烦。需要在logstash中定义多个做if判断。如果十几个模块还好，要是五六十个模块就难了。