ELK logstash的grok 自定义正则匹配日志

最新推荐文章于 2024-08-06 14:45:07 发布

夏已微凉、

最新推荐文章于 2024-08-06 14:45:07 发布

阅读量2.1k

点赞数 1

分类专栏： # Es 文章标签： grok自定义正则匹配日志 ELKgrok正则匹配日志 ELK自定义正则匹配日志 ELK的grok自定义正则匹配

本文链接：https://blog.csdn.net/qq_36025814/article/details/108812961

版权

Es 专栏收录该内容

22 篇文章 3 订阅

订阅专栏

一、logstash 配置 grok
二、grok 在线调试
- 1、在线调试
- 2、kibana 中调试
三、相关文章

一、logstash 配置 grok

1、配置单个规则

这里的流程是直接用logstash分析input源日志文件，然后处理日志数据fliter，grok，最后把数据输出input到elasticsearch中

匹配下面内容中的 client_ip，method，url，duration

[2020-09-26 08:34:41] 127.0.0.1 GET local.test.com:8010/index/index/test?name=张三&id=9 0.412191
[ info ] 信息异常

grok内容可以这么写：

input {
 file {
    ...
  }
}
filter {  
    grok {  
		match => {
			"message"=>"[\s\S]*\]\s(?<client_ip>[0-9\.]+)\s(?<method>[A-Za-z]+)\s(?<url>[^\s]+)\s(?<duration>[0-9\.]+)[\s\S]*"
		}
   }  
} 
output {
    ...
}

2、配置多个规则

由于这里没做日志分割，所以写进es的记录是每一行一条记录，所以我们要匹配多种不同格式的日志。关于日志拆分，这个我用filebeat结合logstash来实现。

我们既要匹配 1 中的信息，又要匹配下面内容中的sql，sql_duration

[ SQL ] SHOW COLUMNS FROM `user` [ RunTime:0.074797s ]

grok 可以这么写

input {
    file {
        ...
    }
}
filter {  
    grok {  
		match => {
			"message" => [
				"[\s\S]*\]\s(?<client_ip>[0-9\.]+)\s(?<method>[A-Za-z]+)\s(?<url>[^\s]+)\s(?<duration>[0-9\.]+)[\s\S]*",
				"\[\sSQL\s\]\s(?<sql>[\s\S]*)\[\sRunTime:(?<sql_duration>[0-9\.]+)"
			]
		}
   }  
} 
output {
    elasticsearch {
	    ...
	}
}

3、windows启动logstash

logstash下载，注意别和es相差太多版本

cd D:\ProgramFiles\ELK\logstash-7.2.0\bin
logstash.bat -f ../logstash_test.conf

配置文件 logstash_test.conf写哪都可以，只要你能够正确指定。我的配置文件写在logstash-7.2.0 根目录，也是bin 的同级目录

二、grok 在线调试

1、在线调试

grok debugger 在线调试
内容

[2020-09-26 08:34:41] 127.0.0.1 GET local.test.com:8010/index/index/test?name=张三&id=9 0.412191
[ info ] 信息异常

正则

[\s\S]*\]\s(?<client_ip>[0-9\.]+)\s(?<method>[A-Za-z]+)\s(?<url>[^\s]+)\s(?<duration>[0-9\.]+)[\s\S]*

结果

{
  "client_ip": [
    [
      "127.0.0.1"
    ]
  ],
  "method": [
    [
      "GET"
    ]
  ],
  "url": [
    [
      "local.test.com:8010/index/index/test?name=张三&id=9"
    ]
  ],
  "duration": [
    [
      "0.412191"
    ]
  ]
}