grok调试工具使用

最新推荐文章于 2025-03-18 18:26:32 发布
最新推荐文章于 2025-03-18 18:26:32 发布
阅读量7.4k 收藏 8
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38423256/article/details/117947020
版权
本文介绍了如何使用Grok工具对日志进行过滤和调试，包括推荐的在线调试工具、常用Grok表达式、日期时间格式以及多个实际案例分析，帮助读者掌握日志处理技巧。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

场景：

grok调试工具选择

Grok默认表达式

常用表达式

日期时间表达式

grok调试案例

实例一：

输出完整结果

实例二：

输出完整结果

实例三

总结：

参考：

 

场景：

logstash使用grok表达式对日志进行过滤，需要用grok工具对表达式进行调试，grok工具选择及使用。

grok调试工具选择

工具一：http://grokdebug.herokuapp.com/（测试不成功，网上大多是这种）

工具二：https://www.5axxw.com/tools/v2/grok.html（推荐使用）

测试日志：

[08/Nov/2020:11:40:24 +0800] tc-com.g-netlink.net - - 192.168.122.58 192.168.122.58 192.168.125.135 80 GET 200 /geelyTCAccess/tcservices/capability/L6T7944Z0JN427155 ?pageIndex=1&pageSize=2000&vehicleType=0 21067 17

测试grok表达式

\[%{HTTPDATE:access_time}\] %{DATA:hostname} %{DATA:username} %{DATA:fwd_for} %{DATA:remote_hostname} %{IP:remote_ip} %{IP:local_ip} %{NUMBER:local_port} %{DATA:method} %{DATA:status} %{DATA:uri} %{DATA:query} %{NUMBER:bytes} %{NUMBER:latency_ms}

 

问题：主要是网上grok debugger工具使用问题,测试不成功

工具一测试

点击运行，加载不出来数据

工具二测试

点击运行，解析为如下格式

{
  "time": [
    [
      "2020-08-22 12:25:51.441"
    ]
  ],
  "thread": [
    [
      "[TSC_IHU]"
    ]
  ],
  "level": [
    [
      "ERROR"
    ]
  ],
  "data": [
    [
      "[c.e.c.t.i.t.s.IhuTsaUplinkServiceImpl] Activation/Bind uplink, query UserSession by Token failure!"
    ]
  ]
}

grok调试工具选工具二

Grok默认表达式

Logstash 内置了120种默认表达式，可以查看patterns，里面对表达式做了分组，每个文件为一组，文件内部有对应的表达式模式。下面只是部分常用的。

常用表达式

表达式标识

名称

详情

匹配例子

USERNAME 或 USER

用户名

由数字、大小写及特殊字符(._-)组成的字符串

1234、Bob、Alex.Wong

EMAILLOCALPART

用户名

首位由大小写字母组成，其他位由数字、大小写及特殊字符(_.+-=:)组成的字符串。注意，国内的QQ纯数字邮箱账号是无法匹配的，需要修改正则

windcoder、windcoder_com、abc-123

EMAILADDRESS

电子邮件

 

windcoder@abc.com、windcoder_com@gmail.com、abc-123@163.com

HTTPDUSER

Apache服务器的用户

可以是EMAILADDRESS或USERNAME

 

INT

整数

包括0和正负整数

0、-123、43987

BASE10NUM 或 NUMBER

十进制数字

包括整数和小数

0、18、5.23

BASE16NUM

十六进制数字

整数

0x0045fa2d、-0x3F8709

WORD

字符串

包括数字和大小写字母

String、3529345、ILoveYou

NOTSPACE

不带任何空格的字符串

  

SPACE

空格字符串

  

QUOTEDSTRING 或 QS

带引号的字符串

 

“This is an apple”、’What is your name?’

UUID

标准UUID

 

550E8400-E29B-11D4-A716-446655440000

MAC

MAC地址

可以是Cisco设备里的MAC地址，也可以是通用或者Windows系统的MAC地址

 

IP

IP地址

IPv4或IPv6地址

127.0.0.1、FE80:0000:0000:0000:AAAA:0000:00C2:0002

HOSTNAME

IP或者主机名称

  

HOSTPORT

主机名(IP)+端口

 

127.0.0.1:3306、api.windcoder.com:8000

PATH

路径

Unix系统或者Windows系统里的路径格式

/usr/local/nginx/sbin/nginx、c:\windows\system32\clr.exe

URIPROTO

URI协议

 

http、ftp

URIHOST

URI主机

 

windcoder.com、10.0.0.1:22

URIPATH

URI路径

 

//windcoder.com/abc/、/api.php

URIPARAM

URI里的GET参数

 

?a=1&b=2&c=3

URIPATHPARAM

URI路径+GET参数

/windcoder.com/abc/api.php?a=1&b=2&c=3

 

URI

完整的URI

 

https://windcoder.com/abc/api.php?a=1&b=2&c=3

LOGLEVEL

Log表达式

Log表达式

Alert、alert、ALERT、Error

日期时间表达式

表达式标识

名称

匹配例子

MONTH

月份名称

Jan、January

MONTHNUM

月份数字

03、9、12

MONTHDAY

日期数字

03、9、31

DAY

星期几名称

Mon、Monday

YEAR

年份数字

 

HOUR

小时数字

 

MINUTE

分钟数字

 

SECOND

秒数字

 

TIME

时间

00:01:23

DATE_US

美国时间

10-01-1892、10/01/1892/

DATE_EU

欧洲日期格式

01-10-1892、01/10/1882、01.10.1892

ISO8601_TIMEZONE

ISO8601时间格式

+10:23、-1023

TIMESTAMP_ISO8601

ISO8601时间戳格式

2016-07-03T00:34:06+08:00

DATE

日期

美国日期%{DATE_US}或者欧洲日期%{DATE_EU} |

DATESTAMP

完整日期+时间

07-03-2016 00:34:06

HTTPDATE

http默认日期格式

03/Jul/2016:00:36:53 +0800

grok调试案例

实例一：

日志记录
55.3.244.1 GET /index.html 15824 0.043

grok表达式
%{IP:ip}\s*%{WORD:method}\s*%{URIPATHPARAM:url}\s*%{NUMBER:data}\s*%{NUMBER:duration}

 

日志的切分规则：ip地址 、method，请求路径、位数，消耗时间五部分

IP ===>55.3.244.1

WORD===>GET

URIPATHPARAM====>/index.html

NUMBER===>15824

NUMBER===>0.043

输出完整结果

{
  "ip": [
    [
      "55.3.244.1"
    ]
  ],
  "method": [
    [
      "GET"
    ]
  ],
  "url": [
    [
      "/index.html"
    ]
  ],
  "data": [
    [
      "15824"
    ]
  ],
  "duration": [
    [
      "0.043"
    ]
  ]
}

 

实例二：


日志记录
[2020-08-22 12:25:51.441] [TSC_IHU] [ERROR] [c.e.c.t.i.t.s.IhuTsaUplinkServiceImpl] Activation/Bind uplink, query UserSession by Token failure!


grok 表达式

\[%{TIMESTAMP_ISO8601:time}\]\s*%{DATA:thread}\s*\[%{LOGLEVEL:level}\]\s*%{GREEDYDATA:data}

日志切分规则：日期（2020-08-22 12:25:51.441）、线程名称（TSC_IHU）、日志等级（ERROR）内容（[c.e.c.t.i.t.s.IhuTsaUplinkServiceImpl] Activation/Bind uplink, query UserSession by Token failure!）
 

TIMESTAMP_ISO8601===》匹配日期（到毫秒的）

DATA===》TSC_IHU

LOGLEVEL===》匹配日志等级ERROR

GREEDYDATA===》匹配内容

输出完整结果

{
  "time": [
    [
      "2020-08-22 12:25:51.441"
    ]
  ],
  "thread": [
    [
      "[TSC_IHU]"
    ]
  ],
  "level": [
    [
      "ERROR"
    ]
  ],
  "data": [
    [
      "[c.e.c.t.i.t.s.IhuTsaUplinkServiceImpl] Activation/Bind uplink, query UserSession by Token failure!"
    ]
  ]
}

 

 

实例三

测试日志

2020-09-12 14:16:36.320+08:00 INFO 930856f7-c78f-4f12-a0f1-83a2610b2dfc DispatcherConnector ip-192-168-114-244 [Mqtt-Device-1883-worker-18-1] com.ericsson.sep.dispatcher.api.transformer.v1.MessageTransformer {"TraceID":"930856f7-c78f-4f12-a0f1-83a2610b2dfc","clientId":"5120916600003466K4GA1059","username":"LB37622Z3KX609880"}



grok表达式
%{TIMESTAMP_ISO8601:access_time}\s*%{LOGLEVEL:level}\s*%{UUID:uuid}\s*%{WORD:word}\s*%{HOSTNAME:hostname}\s*\[%{DATA:work}\]\s*(?<api>([\S+]*))\s*(?<TraceID>([\S+]*))\s*%{GREEDYDATA:message_data}

日志切分规则：日期（2020-09-12 14:16:36.320+08:00）、日志等级（INFO）、UUID（930856f7-c78f-4f12-a0f1-83a2610b2dfc）、字符串（DispatcherConnector ）、主机名称（ip-192-168-114-244）、线程（[Mqtt-Device-1883-worker-18-1）、请求api(com.ericsson.sep.dispatcher.api.transformer.v1.MessageTransformer),内容（{"TraceID":"930856f7-c78f-4f12-a0f1-83a2610b2dfc","clientId":"5120916600003466K4GA1059","username":"LB37622Z3KX609880"}
）

TIMESTAMP_ISO8601===》匹配日期（到毫秒的）
LOGLEVEL===》匹配日志等级ERROR
UUID ===》匹配随机ID
WORD===>匹配任意字符串
HOSTNAME===》匹配主机名
DATA===》匹配线程
GREEDYDATA===》匹配内容

其中
(?<api>([\S+]*)) ====>匹配com.ericsson.sep.dispatcher.api.transformer.v1.MessageTransformer

(?<TraceID>([\S+]*))===》匹配{"TraceID":"930856f7-c78f-4f12-a0f1-83a2610b2dfc","clientId":"5120916600003466K4GA1059","username":"LB37622Z3KX609880"}

输出完整结果

{
  "access_time": [
    [
      "2020-09-12 14:16:36.320+08:00"
    ]
  ],
  "level": [
    [
      "INFO"
    ]
  ],
  "uuid": [
    [
      "930856f7-c78f-4f12-a0f1-83a2610b2dfc"
    ]
  ],
  "word": [
    [
      "DispatcherConnector"
    ]
  ],
  "hostname": [
    [
      "ip-192-168-114-244"
    ]
  ],
  "work": [
    [
      "Mqtt-Device-1883-worker-18-1"
    ]
  ],
  "api": [
    [
      "com.ericsson.sep.dispatcher.api.transformer.v1.MessageTransformer"
    ]
  ],
  "TraceID": [
    [
      "{"TraceID":"930856f7-c78f-4f12-a0f1-83a2610b2dfc","clientId":"5120916600003466K4GA1059","username":"LB37622Z3KX609880"}"
    ]
  ],
  "message_data": [
    [
      ""
    ]
  ]
}

 

实例四：

 [12/Sep/2020:14:10:58 +0800] "GET /backend/services/ticketRemind/query?cid=&msgType=1&pageSize=100&pageIndex=1&langCode=zh HTTP/1.1" 200 91


grok表达式
\[%{HTTPDATE:access_time}\]\s*%{DATA:b}%{WORD:method}\s*%{URIPATH:url}%{URIPARAM:param}\s*%{URIPROTO:uri}%{DATA:c}%{NUMBER:treaty}%{DATA:d}\s*%{NUMBER:status}\s*%{NUMBER:latency_millis}

输出完整结果

{
  "access_time": [
    [
      "12/Sep/2020:14:10:58 +0800"
    ]
  ],
  "b": [
    [
      """
    ]
  ],
  "method": [
    [
      "GET"
    ]
  ],
  "url": [
    [
      "/backend/services/ticketRemind/query"
    ]
  ],
  "param": [
    [
      "?cid=&msgType=1&pageSize=100&pageIndex=1&langCode=zh"
    ]
  ],
  "uri": [
    [
      "HTTP"
    ]
  ],
  "c": [
    [
      "/"
    ]
  ],
  "treaty": [
    [
      "1.1"
    ]
  ],
  "d": [
    [
      """
    ]
  ],
  "status": [
    [
      "200"
    ]
  ],
  "latency_millis": [
    [
      "91"
    ]
  ]
}

 

实例五：


测试日志
192.168.125.138 - - [12/Sep/2020:14:10:58 +0800] "GET /backend/services/ticketRemind/query?cid=&msgType=1&pageSize=100&pageIndex=1&langCode=zh HTTP/1.1" 200 91


grok表达式
\s*%{IP:ip}\s*%{DATA:a}\s*\[%{HTTPDATE:access_time}\]\s*%{DATA:b}%{WORD:method}\s*%{URIPATH:url}%{URIPARAM:param}\s*%{URIPROTO:uri}%{DATA:c}%{NUMBER:treaty}%{DATA:d}\s*%{NUMBER:status}\s*%{NUMBER:latency_millis}

输出完整结果

{
  "ip": [
    [
      "192.168.125.138"
    ]
  ],
  "a": [
    [
      "- -"
    ]
  ],
  "access_time": [
    [
      "12/Sep/2020:14:10:58 +0800"
    ]
  ],
  "b": [
    [
      """
    ]
  ],
  "method": [
    [
      "GET"
    ]
  ],
  "url": [
    [
      "/backend/services/ticketRemind/query"
    ]
  ],
  "param": [
    [
      "?cid=&msgType=1&pageSize=100&pageIndex=1&langCode=zh"
    ]
  ],
  "uri": [
    [
      "HTTP"
    ]
  ],
  "c": [
    [
      "/"
    ]
  ],
  "treaty": [
    [
      "1.1"
    ]
  ],
  "d": [
    [
      """
    ]
  ],
  "status": [
    [
      "200"
    ]
  ],
  "latency_millis": [
    [
      "91"
    ]
  ]
}

总结：

1.首先要清楚日志的切分规则，然后根据每一个切分点套用grok提供的匹配表达式即可。

 

参考：

logstash手册：http://doc.yonyoucloud.com/doc/logstash-best-practice-cn/dive_into/write_your_own.html

grok表达式：https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/ecs-v1/grok-patterns

elk手册：https://anbc.gitbooks.io/elk-handbook/content/81grokzheng_ze_guo_lv_qi_pei_zhi.html


 

如何搭建自己的grokdebug工具测试logstash语法糖
运维打怪晋级之路
12-02 2019
grokdebug 一个方便的 grok 调试工具，grok 的语法编写起来还是有点吃力的，但是使用grokdebug可以提高我们排查问题的效率，但是服务提供大多数是国外的服务器，我们在墙内服务比较困难，目前grokdebug 提供了docker 版本了
Grok：深入解析日志与数据的强大工具
Songxianshengbei的博客
03-19 1434
随着日志数据的不断增长和复杂性的提升，Logstash团队意识到需要一个更加强大和灵活的解析引擎来处理这些日志，于是Grok应运而生。通过定义一系列的模式（patterns），Grok能够匹配和解析各种格式的日志数据，提取出有用的信息并以结构化的方式呈现出来。而Grok，作为一款强大的日志解析和数据提取工具，为我们提供了一种高效、灵活的方式来处理这些海量的信息。更加强大的解析能力：随着日志数据的不断增长和复杂性的提升，Grok需要不断增强其解析能力以应对各种复杂的日志格式和数据类型。
Grok 使用指南
JohnChen(Net)
02-21 1251
这张图片是一张太空区域的照片，特别是 Carina 星云的一部分，由 James Webb 太空望远镜拍摄。如果您想要更精细的按请求使用情况跟踪，API 响应包括一个使用情况对象，该对象提供有关提示（输入）和完成（输出）令牌使用情况的详细信息。生成 API 密钥后，我们需要将其保存在安全的地方！将 xAI API 密钥导出为环境变量后，您就可以发出第一个 API 请求了。当您使用 API 密钥时，您需要为使用的令牌数量付费。在本指南中，我们将引导您了解使用 xAI API 的基础知识。
Logstash系列：grok 表达式开发调试工具、使用方法
NIO4444
05-21 2517
USERNAME [a-zA-Z0-9._-]+ USER %{USERNAME} EMAILLOCALPART [a-zA-Z][a-zA-Z0-9_.+-=:]+ EMAILADDRESS %{EMAILLOCALPART}@%{HOSTNAME} INT (?:[+-]?(?:[0-9]+)) BASE10NUM (?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\....
Grok 3国内怎么用？超详细使用指南+实用指令模板
最新发布
Survivor_sl的博客
03-18 4445
主要是用于快速分析学术论文，提取关键信息，总结研究成果。Analyze the following research paper: [粘贴或上传论文内容]1. Extract key findings, methodologies, and conclusions. (提取主要发现、方法和结论。2. Identify statistical significance and data points. (识别统计显著性和数据点。
Grok Debug ELK 在线调试grok工具
xcl119xcl的专栏
10-23 1632
Grok Debug ELK 在线调试grok工具 千辛万苦找到的groktiao调试工具： http://120.203.18.89:6969/130/grok-debug-elk-%e5%9c%a8%e7%ba%bf%e8%b0%83%e8%af%95grok%e5%b7%a5%e5%85%b7/
ELK grok 调试工具
zyb378747350的专栏
06-06 3383
ELK 调试工具
Grok的使用
零下九度
09-06 3611
Grok的使用
Grok：深入解析日志与数据的强大工具.zip
03-19
4. **测试和优化**：使用Grok调试器（如grokdebugger.com）来测试模式的有效性，并根据需要调整和优化模式库。 Grok的强大之处在于它的可扩展性和可定制性。通过组合和扩展现有的模式，可以处理几乎任何格式的日志...
STC-USB驱动高级故障排除：日志分析与调试工具使用指南
!... # 摘要 本文全面探讨了STC-USB驱动故障排除的方法与技巧。...文章进一步详细阐述了核心调试工具的使用方法、高级调试技术和调试过程中的问题排除策略。通过实践案例分析，展示了日志分析与调试工具在故障排除中的应用
grok使用(将日志结构化)
ApexPredator的博客
07-05 3745
grok使用(将日志结构化)
grok - 一个强大的日志分析工具
gitblog_00002的博客
03-14 815
grok - 一个强大的日志分析工具 grok DRY and RAD for regular expressions and then some. 项目地址: https://gitcode.com/gh_mirrors/grok/grok ...
opengrok工具
04-04
windows10 搭建opengrok工具和自己写的文档，绝对值，包含jdk tomcat opengrok ctag
opengrok_tool.zip
10-16
工具总要用来搭建ubuntu环境下的代码阅读工具openGrok 1. 下载资源，解压到一个空间比较大的磁盘目录下 2. cd opengrok_tool 执行　./CreatOpenGrok $project_name $source_code_dir第一个参数是网页打开时的后缀，第二个是源码目录 　比如 ./CreatOpenGrok test_opengrok /home/ubuntu/code/HelloWorld 执行成功后，用浏览器打开 http://localhost:8080/test_opengrok 即可 若想把代码共享给局域网内的其他人，把localhost改成ip即可
grok的简单使用
LHB6540的博客
11-16 2092
grok的简单使用 假设有日志记录如下 127.0.0.1 - - [04/Nov/2020:18:07:31 -0800] "GET /favicon.ico HTTP/1.1" 404 3650 "-" "Mozilla/5.0 (X11; Linux x86_64; rv:68.0) Gecko/20100101 Firefox/ 68.0" "-" 目的过滤客户端IP字段 使用方法 使用logstash自带的模式过滤 编辑配置文件 #输入 input { generator {
logstash grok正则表达式测试工具GrokConstructor
鸟语清晨
06-14 2030
表达式测试工具 GrokConstructor 下载地址： 链接：https://pan.baidu.com/s/1sxd7H0Zum79xWWjE8s_opw 提取码：aaek 启动 java -jar GrokConstructor-0.1.0-SNAPSHOT-standalone.jar 访问 ip:8080 测试： 提取结果 ...
grok 在线调试
lhf214111967的专栏
04-13 4632
国内grok在线调试：http://grok.51vagaa.com/
grokdebug
阿基米德来了的博客
07-29 701
http://grokdebug.herokuapp.com/
grokdebug使用
shengpli′s blog
04-06 1005
第一栏填要匹配的字符串第二栏使用自带模版 %{JAVACLASS:my} 或者个人模版 %{TEST:my} 或者自定义别名 (?\w+)第三栏 个人模版，一行一个表达式，如：TEST [0-9]+ TEST2 [A-Z]+示图
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值