logstash grok mysql_Logstash GROK过滤器插件

Grok是将非结构化日志数据解析为结构化和可查询内容的好方法。

该工具非常适合syslog日志，apache和其他Web服务器日志，mysql日志，以及通常用于人类而非计算机使用的任何日志格式。

语法模式

grok模式的语法是 %{SYNTAX:SEMANTIC}

SYNTAX---将匹配文本模式的名称。例如，3.44将与NUMBER模式匹配，并且55.3.244.1将与IP模式匹配。语法就是您的匹配方式。

该SEMANTIC是你给一段文字的标识相匹配。例如，3.44可能是事件的持续时间，因此您可以简单地将其称为duration。此外，字符串55.3.244.1可能会标识client 发出请求。

对于上面的示例，您的grok过滤器将如下所示：

%{NUMBER:duration} %{IP:client}

示例1： 有了语法和语义的概念，我们可以从示例日志中提取有用的字段，例如虚构的http请求日志：

55.3.244.1 GET /index.html 15824 0.043

此模式可以是：

%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}

一个更现实的示例，让我们从文件中读取这些日志：

input {

file {

path => "/var/log/http.log"

}

}

filter {

grok {

match => { "message" => "%{IP:client} %{WORD:method} %{URIPATHPARAM:request} %{NUMBER:bytes} %{NUMBER:duration}" }

}

}

正则表达式

Grok位于正则表达式的顶部，因此任何正则表达式在grok中也有效。正则表达式库是Oniguruma，您可以在Oniguruma网站上看到完整的受支持的regexp语法。

正则匹配：nginx日志

223.13.142.15 - - [10/May/2018:23:47:43 +0800] "GET http://app.znds.com/update/dangbeimarket.apk HTTP/1.1" 206 62263 "-" "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1) QQBrowser/6.0"

正则匹配

%{IPV4:remote_user} \- \- \[%{HTTPDATE:timestamp}\] "%{WORD:method} %{URI:request} %{WORD:http}/%{NUMBER:httpversion}" %{NUMBER:status} (?:%{NUMBER:bytes}|-) (?:%{QS:data}|-) (?:%{QS:agent}|-)

自定义插件

这里的环境都是docker 物理机和这里所用的类似

root用户进入到logstash的容器中

docker run -it --rm --user root docker.elastic.co/logstash/logstash:7.4.2 bash

有时logstash没有您需要的模式。为此，您有一些选择。

创建一个目录，patterns其中包含一个名为extra 的文件(文件名无关紧要，但为您自己有意义地命名)

在该文件中，将所需的模式写为模式名称，一个空格，然后输入该模式的regexp(正则表达式)。

image.png

[root@c614d6cb552c patterns]# vi extra

YAN [a-zA-Z0-9._-]+

YANT \d+(?:\.\d+)?

TT (?\d+(?:\.\d+)?)

编写配置文件

[root@c614d6cb552c logstash]# vi test-grok.conf

input {

stdin{}

}

filter {

grok {

patterns_dir => ["./patterns"] ---指定自己编写的grok表达式的位置

match => {

"message" => "%{YAN:yan} %{YAN:t} %{TT:tt}" --匹配的格式

}

}

}

output {

stdout{ codec => rubydebug } -- 输出为ruby格式

}

输入命令执行

logstash -f test-grok.conf

image.png

你也可以编写一些其他的grok表达式来满足你的需求 更多表达式详情看logstash核心模式