【ELK日志采集】filebeat日志采集及错误Provided Grok expressions do not match field value解决

置顶

onenote_1

已于 2022-03-14 11:44:09 修改

阅读量2.6k

点赞数

分类专栏： ELK 文章标签： elasticsearch elk 运维服务器 centos

于 2022-03-01 15:20:10 首次发布

本文链接：https://blog.csdn.net/duanph/article/details/123205186

版权

本文档介绍了在ELK环境中，使用filebeat进行日志采集时遇到的Grok表达式匹配错误问题。通过提供两种样例数据，展示了异常和正常日志格式。在解决问题的过程中，提出了两种解决方案：一是将不匹配的日志路由到错误索引，二是调整patterns规则。最后，给出了filebeat配置文件内容，并展示了最终的日志收集结果。

摘要由CSDN通过智能技术生成

1、文档使用工具：

图形化：kibana_6.7.1

数据存储：elasticsearch-6.7.1

日志采集：filebeat-6.7.1

以下模拟日志数据采集使用工具是：

Kibana >> Dev Tools >> Console

2、两种样例数据

样例1为异常数据格式

2022-02-16 18:15:11 10.10.11.2 os[7028]: 2022 RAC:root login from 172.17.199.200

样例2为正常需求数据格式

2022-02-19 10:56:37 10.10.80.18 Severity: Informational, Category: Storage, MessageID: CTL37, Message: A Patrol Read operation started for RAID Controller in Slot 7

3、初始定义pipeline规则

PUT /_ingest/pipeline/idrac-pipeline_v2?pretty
{
    "description" : "Pipeline for parsing idrac logs.",
    "processors" : [
      {
        "grok" : {
          "field" : "_source.message",
          "patterns" : [
            "%{MY_DATETIME:time} %{IPORHOST:server_ip} Severity: %{DATA:Severity}, Category: %{DATA:Category}, MessageID: %{DATA:MessageID}, Message: %{GREEDYDATA:Message}"
          ],
          "pattern_definitions" : {
            "MY_DATE" : "%{YEAR}[/-]%{MONTHNUM}[/-]%{MONTHDAY}",
            "MY_TIME" : "[0-9][0-9]:[0-9][0-9]:[0-9][0-9]",
            "MY_DATETIME" : "%{MY_DATE} %{MY_TIME}"
          }
        }
      },
      {
        "date" : {
          "field" : "time",
          "target_field" : "@timestamp",
          "formats" : [
            "yyyy-MM-dd HH:mm:ss||yyyy-MM-dd||yyyy/MM/dd||yyy