grok使用(将日志结构化)

Apex Predator

已于 2023-07-05 14:10:48 修改

阅读量2.8k

点赞数

分类专栏： elk 文章标签： elk

于 2023-07-05 13:13:49 首次发布

本文链接：https://blog.csdn.net/ApexPredator/article/details/131551082

版权

elk 专栏收录该内容

11 篇文章 0 订阅

订阅专栏

1.前言

Grok是一种强大的日志解析工具，用于将结构化和非结构化的日志数据转换为可查询和分析的格式。它是由Elasticsearch的Logstash组件提供的一种插件，也可以作为独立的库在其他数据处理工具中使用，Grok通过使用预定义的模式（正则表达式）和模板，将复杂的日志行解析为具有可命名字段的结构化数据，即json结构。它可以解析各种格式的日志，如Apache日志、系统日志、应用程序日志等

2.作用

日志解析：Grok可以从原始日志数据中提取有用的字段，并将其解析为结构化的键值对。例如，它可以从一行Apache访问日志中提取IP地址、访问时间、请求方法、URL等信息，并将其存储为可查询的字段

数据标准化：由于日志的格式和结构通常不统一，不同应用和系统生成的日志可能具有不同的字段和格式。使用Grok，可以将这些不同格式的日志标准化为一致的格式，使其易于分析和处理

查询和过滤：通过将日志解析为结构化数据，可以使用查询语言（如Elasticsearch的查询语法）对日志数据进行灵活的查询和过滤。这样可以轻松筛选出感兴趣的日志事件，进行故障排除、监控分析、安全审计等操作

可视化和报告：通过将日志解析为结构化数据，可以将其与其他指标和数据源进行联合分析，并使用可视化工具（如Kibana）创建交互式仪表板和报告。这样可以更清晰地呈现日志数据的趋势、异常和关联性

3.使用

转化日志为结构化日志

以下通过一段nginx的access来展示grok通过正则表达式和预定义模板字段将非结构化日志解析为结构化日志的功能，我们可以使用kibana的grok debug功能来测试

访问一下nginx服务的80端口来生成access日志

curl 10.1.60.114

tail -f /var/log/nginx/access.log

10.1.13.252 - - [05/Jul/2023:10:55:37 +0800] "GET /img/header-background.png HTTP/1.1" 200 82896 "http://10.1.60.114/" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/114.0.0.0 Safari/537.36" "-"

将以上获取的日志填入到数据样例中

接下来就可以在grok模式里写入正则和预定义模板来将以上的日志转化为结构化日志

先来简单的匹配一下前面的ip

这里是使用了预定义模板里的值IP，即预定义模板里是写好了的正则，直接通过变量调用即可 ,关于grok的预定义模板下面会展示出来

接下来继续匹配一下后面的内容，继续使用正则表达式和预定义模板

对于固定的内容就直接把内容写入到语句里就可以了，如果有涉及正则表达式的字符就需要使用转义符，以上的[]是正则表达式里匹配中括号里任意内容的意思，所以需要使用转义符去转义为普通的字符

关于后面的匹配我就放出完整的grok表达式

%{IP:ip} - (%{USERNAME:remote_user}|-) \[%{HTTPDATE:time}\] \"%{WORD:request_method} %{URIPATHPARAM:request_uri} HTTP/%{NUMBER:http_version}\" %{NUMBER:http_status} %{NUMBER:bytes} \"(%{DATA:referrer}|-)\" \"%{DATA:http_agent}\" \"(%{DATA:forwarded}|-)\"