filebeat 收集java堆栈日志 多行匹配失效

使用高版本的filebeat时,inputs的类型支持filestream,此类型必须按照以下配置才可生效

filebeat.inputs:
- type: filestream
  enabled: true
  paths:
    - /data/logs/error/*api.log.*
  fields:
    service_name: api
    level: error
    fields_under_root: true
  parsers:
    - ndjson:
        keys_under_root: true
        message_key: msg
     # 合并行设置
    - multiline:
        type: pattern
        pattern: '^20[0-9]{2}-[0-9]{2}-[0-9]{2}'
        negate: true
        match: afte
# Redis 数据流出配置
output.redis:
  hosts: ["ip:port"]
  password: "xxx"
  db: 1
  key: "api-log"		# 与logstash中的数据流入配置一致

对于inputs.type为log类型的

filebeat.inputs:
- type: log`在这里插入代码片`
  enabled: true
  # 文件路径配置
  paths:
    - /data/logs/error/*api.log*
  # 附加字段指定日志分类
  fields:
    service_name: api
    level: info
    fields_under_root: true
  # 合并行设置
  multiline.type: pattern
  multiline.pattern: '^20[0-9]{2}-[0-9]{2}-[0-9]{2}'   
  multiline.negate: true
  multiline.match: after
  tags: ["api"]
setup.template.name: "api"
setup.template.pattern: "api"
filebeat.config.modules:
  path: ${path.config}/modules.d/*.yml
  reload.enabled: false
setup.template.settings:
  index.number_of_shards: 1
setup.kibana:
  host: "ip:port"
output.elasticsearch:
  hosts: ["ip:port"]
  indices:
    - index: "warning-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        message: "WARN"
    - index: "error-%{[agent.version]}-%{+yyyy.MM.dd}"
      when.contains:
        message: "ERR"
processors:
  - add_host_metadata:
      when.not.contains.tags: forwarded
  - add_cloud_metadata: ~
  - add_docker_metadata: ~
  - add_kubernetes_metadata: ~
  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 3
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值