【ELK】Logstash grok 预定义字段

已于 2022-03-08 11:57:39 修改
阅读量1.1k 收藏 6
点赞数
分类专栏： ELK 文章标签： elk es 正则表达式 elasticsearch java
于 2022-03-08 10:20:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_52269666/article/details/123342136
版权

grok是Logstash中的filter模块的插件，是一种采用预定义的正则表达式组合来匹配分割日志信息的工具。

grok预定义字段
别名正则释义
common 常用表达式
USERNAME[a-zA-Z0-9._-]+用户名，由数字、大小写及特殊字符 ._- 组成的字符串
USER%{USERNAME}
INT(?:[+-]?(?:[0-9]+))整数，包括0和正负整数
BASE10NUM(?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+)))十进制数字，包括整数和小数
NUMBER(?:%{BASE10NUM})
BASE16NUM(?<![0-9A-Fa-f])(?:[+-]?(?:0x)?(?:[0-9A-Fa-f]+))十六进制整数
BASE16FLOAT\b(?<![0-9A-Fa-f.])(?:[+-]?(?:0x)?(?:(?:[0-9A-Fa-f]+(?:\.[0-9A-Fa-f]*)?)|(?:\.[0-9A-Fa-f]+)))\b十六进制整数和小数
POSINT\b(?:[1-9][0-9]*)\b匹配正整数
NONNEGINT\b(?:[0-9]+)\b匹配非负整数
WORD\b\w+\b字符串，包括数字和大小写字母
NOTSPACE\S+不带任何空格的字符串
SPACE\s*空格字符串
DATA.*?匹配换行符
GREEDYDATA.*能匹配任意字符串(匹配0个或多个除换行符)
QUOTEDSTRING(?>(?<!\\)(?>"(?>\\.|[^\\"]+)+"|""|(?>'(?>\\.|[^\\']+)+')|''|(?>`(?>\\.|[^\\`]+)+`)|``))

带引号的字符串，引用内容，QS简写

QS%{QUOTEDSTRING}
UUID[A-Fa-f0-9]{8}-(?:[A-Fa-f0-9]{4}-){3}[A-Fa-f0-9]{12}标准UUID
Networking 网络
MAC(?:%{CISCOMAC}|%{WINDOWSMAC}|%{COMMONMAC})

 MAC地址，可以是Cisco设备里的MAC地址，也可以是通用或者Windows系统的MAC地址

CISCOMAC(?:(?:[A-Fa-f0-9]{4}\.){2}[A-Fa-f0-9]{4})CISCOMAC地址
WINDOWSMAC(?:(?:[A-Fa-f0-9]{2}-){5}[A-Fa-f0-9]{2})WINDOWSMAC地址
COMMONMAC(?:(?:[A-Fa-f0-9]{2}:){5}[A-Fa-f0-9]{2})COMMONMAC地址
IPV6((([0-9A-Fa-f]{1,4}:){7}([0-9A-Fa-f]{1,4}|:))|(([0-9A-Fa-f]{1,4}:){6}(:[0-9A-Fa-f]{1,4}|((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3})|:))|(([0-9A-Fa-f]{1,4}:){5}(((:[0-9A-Fa-f]{1,4}){1,2})|:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3})|:))|(([0-9A-Fa-f]{1,4}:){4}(((:[0-9A-Fa-f]{1,4}){1,3})|((:[0-9A-Fa-f]{1,4})?:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){3}(((:[0-9A-Fa-f]{1,4}){1,4})|((:[0-9A-Fa-f]{1,4}){0,2}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){2}(((:[0-9A-Fa-f]{1,4}){1,5})|((:[0-9A-Fa-f]{1,4}){0,3}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){1}(((:[0-9A-Fa-f]{1,4}){1,6})|((:[0-9A-Fa-f]{1,4}){0,4}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(:(((:[0-9A-Fa-f]{1,4}){1,7})|((:[0-9A-Fa-f]{1,4}){0,5}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:)))(%.+)?

IP V6地址，如：FE80:0000:0000:0000:AAAA:0000:00C2:000

IPV4(?<![0-9])(?:(?:25[0-5]|2[0-4][0-9]|[0-1]?[0-9]{1,2})[.](?:25[0-5]|2[0-4][0-9]|[0-1]?[0-9]{1,2})[.](?:25[0-5]|2[0-4][0-9]|[0-1]?[0-9]{1,2})[.](?:25[0-5]|2[0-4][0-9]|[0-1]?[0-9]{1,2}))(?![0-9])

IPV4地址，如：127.0.0.1

IP(?:%{IPV6}|%{IPV4})IP地址，IPv4或IPv6地址
HOSTNAME\b(?:[0-9A-Za-z][0-9A-Za-z-]{0,62})(?:\.(?:[0-9A-Za-z][0-9A-Za-z-]{0,62}))*(\.?|\b)主机名称
HOST%{HOSTNAME}
IPORHOST(?:%{HOSTNAME}|%{IP})主机名称或者IP
HOSTPORT%{IPORHOST}:%{POSINT}主机名(IP)+端口
paths 路径
PATH(?:%{UNIXPATH}|%{WINPATH})路径，UNIX系统或者Windows系统里的路径格式，比如：/usr/xxx ，C:\windows\xxx等 
UNIXPATH(?>/(?>[\w_%!$@:.,-]+|\\.)*)+匹配UNIXPATH，UNIX路径
TTY(?:/dev/(pts|tty([pq])?)(\w+)?/?(?:[0-9]+))匹配TTY路径
WINPATH(?>[A-Za-z]+:|\\)(?:\\[^\\?*]*)+匹配WINPATH，Windows路径
URIPROTO[A-Za-z]+(\+[A-Za-z+]+)?

URI协议，如：http、ftp等；

匹配URI中的头部分，例如http://hostname.domain.tld/_astats?application=&inf.name=eth0会匹配到http

URIHOST%{IPORHOST}(?::%{POSINT:port})?URI主机，匹配IPORHOST和POSINT，例如http://hostname.domain.tld/_astats?application=&inf.name=eth0，会匹配到hostname.domain.tld
URIPATH(?:/[A-Za-z0-9$.+!*'(){},~:;=@#%_\-]*)+URI路径，匹配内容中的URI
URIPARAM\?(?:[A-Za-z0-9]+(?:=(?:[^&]*))?(?:&(?:[A-Za-z0-9]+(?:=(?:[^&]*))?)?)*)?URI里的GET参数，如：?a=1&b=2&c=3
URIPARAM\?[A-Za-z0-9$.+!*'|(){},~@#%&/=:;_?\-\[]]*
URIPATHPARAM%{URIPATH}(?:%{URIPARAM})?URI路径+GET参数
URI%{URIPROTO}://(?:%{USER}(?::[^@]*)?@)?(?:%{URIHOST})?(?:%{URIPATHPARAM})?完整的URI
Year | Month | Day | Dates | Time    时间
MONTH\b(?:Jan(?:uary)?|Feb(?:ruary)?|Mar(?:ch)?|Apr(?:il)?|May|Jun(?:e)?|Jul(?:y)?|Aug(?:ust)?|Sep(?:tember)?|Oct(?:ober)?|Nov(?:ember)?|Dec(?:ember)?)\b

月份名称，匹配数字或者月份英文缩写或者全拼等格式月份

"January, Feb，3"

MONTHNUM(?:0?[1-9]|1[0-2])

月份数字，如：3, 03, 12 ...

MONTHNUM2(?:0[1-9]|1[0-2])
MONTHDAY(?:(?:0[1-9])|(?:[12][0-9])|(?:3[01])|[1-9])月份中的日期数字，如：3，03，31 ...
DAY(?:Mon(?:day)?|Tue(?:sday)?|Wed(?:nesday)?|Thu(?:rsday)?|Fri(?:day)?|Sat(?:urday)?|Sun(?:day)?)

星期几名称，Days: Monday, Tue, Thu, etc...

YEAR(?>\d\d){1,2}年份数字
HOUR(?:2[0123]|[01]?[0-9])小时数字
MINUTE(?:[0-5][0-9])分钟数字
SECOND(?:(?:[0-5]?[0-9]|60)(?:[:.,][0-9]+)?)秒数字
TIME(?!<[0-9])%{HOUR}:%{MINUTE}(?::%{SECOND})(?![0-9])时间，如：00:12:34
datestamp is YYYY/MM/DD-HH:MM:SS.UUUU (or something like it)  时间戳
DATE_US%{MONTHNUM}[/-]%{MONTHDAY}[/-]%{YEAR}美国日期格式，如:10-15-1982、10/15/1982
DATE_EU%{MONTHDAY}[./-]%{MONTHNUM}[./-]%{YEAR}

欧洲日期格式，

如:15-10-1982、15/10/1982、15.10.1982等

ISO8601_TIMEZONE(?:Z|[+-]%{HOUR}(?::?%{MINUTE}))ISO8601时间格式的小时和分钟，如:+10:23、-1023等
ISO8601_SECOND(?:%{SECOND}|60)匹配ISO8601格式的秒钟
TIMESTAMP_ISO8601%{YEAR}-%{MONTHNUM}-%{MONTHDAY}[T ]%{HOUR}:?%{MINUTE}(?::?%{SECOND})?%{ISO8601_TIMEZONE}?

ISO8601时间戳格式，

如：2020-02-29T12:11:11+08:00

DATE%{DATE_US}|%{DATE_EU}日期，美国日期%{DATE_US}或者欧洲日期%{DATE_EU}
DATESTAMP %{DATE}[- ]%{TIME}完整日期+时间，如:07-03-2022  11:22:33
TZ(?:[PMCE][SD]T|UTC)匹配UTC
DATESTAMP_RFC822%{DAY} %{MONTH} %{MONTHDAY} %{YEAR} %{TIME} %{TZ}匹配RFC822格式时间
DATESTAMP_RFC2822%{DAY}, %{MONTHDAY} %{MONTH} %{YEAR} %{TIME} %{ISO8601_TIMEZONE}匹配RFC2822格式时间
DATESTAMP_OTHER%{DAY} %{MONTH} %{MONTHDAY} %{TIME} %{TZ} %{YEAR}匹配其他格式时间
DATESTAMP_EVENTLOG%{YEAR}%{MONTHNUM2}%{MONTHDAY}%{HOUR}%{MINUTE}%{SECOND}匹配EVENTLOG格式的时间
Syslog Dates: Month Day HH:MM:SS  系统日志日期
SYSLOGTIMESTAMP%{MONTH} +%{MONTHDAY} %{TIME}匹配Syslog格式的时间
PROG(?:[\w._/%-]+)匹配program内容
SYSLOGPROG%{PROG:program}(?:[%{POSINT:pid}])?匹配program和pid内容
SYSLOGHOST %{IPORHOST}匹配IPORHOST
SYSLOGFACILITY<%{NONNEGINT:facility}.%{NONNEGINT:priority}>匹配IPORHOST
HTTPDATE%{MONTHDAY}/%{MONTH}/%{YEAR}:%{TIME} %{INT}

http默认日期格式，

如：03/Jul/2016:00:36:53 +0800

Log formats 日志格式
SYSLOGBASE%{SYSLOGTIMESTAMP:timestamp} (?:%{SYSLOGFACILITY} )?%{SYSLOGHOST:logsource} %{SYSLOGPROG}:Syslog默认格式日志
COMMONAPACHELOG%{IPORHOST:clientip} %{USER:ident} %{USER:auth} [%{HTTPDATE:timestamp}] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})" %{NUMBER:response} (?:%{NUMBER:bytes}|-)匹配commonApache日志
COMBINEDAPACHELOG%{COMMONAPACHELOG} %{QS:referrer} %{QS:agent}匹配组合Apache日志
 Log Levels 日志等级
LOGLEVEL([Aa]lert|ALERT|[Tt]race|TRACE|[Dd]ebug|DEBUG|[Nn]otice|NOTICE|[Ii]nfo|INFO|[Ww]arn?(?:ing)?|WARN?(?:ING)?|[Ee]rr?(?:or)?|ERR?(?:OR)?|[Cc]rit?(?:ical)?|CRIT?(?:ICAL)?|[Ff]atal|FATAL|[Ss]evere|SEVERE|EMERG(?:ENCY)?|[Ee]merg(?:ency)?)

日志等级，

比如：warn、debug、Alert、alert、ALERT、Error等

create grok 自定义构建
DATE_CN%{YEAR}[./-]%{MONTHNUM}[./-]%{MONTHDAY}

中国人习惯的日期

”例：2022.03.07、2022/03/07、2022-03-07“

ZIPCODE_CN[1-9]\d{5}国内邮政编码
GAME_ACCOUNT[a-zA-Z][a-zA-Z0-9_]{4,15}游戏账号，首字符为字母，4-15位字母、数字、下划线组成

注：     \b 单词开头或结尾        \w 字母数字下划线        \s或者\s+ 代表多个空格      \S+或者\S*, 代表多个字符     \d数字

                使用方法：一：%{正则别名:字段命名}      二：(?<字段命名>正则)

                操作样例：

                                 1. 日志切割

                                 2. 数据测试        

                                 3. 别名与正则 (例)

别名正则
BASE10NUM(?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+)))


                

                                4. 自定义字段 

* 以上内容整理自网络，仅供个人学习参考，整理不易多多支持！不足之处还望指正。

Dangks
关注
  • 0
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
logstash ELK
11-05
Logstash 是一个开源的数据收集引擎，它具有备实时数据传输能力。它可以统一过滤来自不同源的数据，并按照开发者的制定的规范输出到目的地。
ELK自定义字段 mapping
weixin_33834910的博客
05-15 538
在索引的位置处有一句很明显的英文:This page lists every field in thelogstash-*index and the field's associated core type as recorded by Elasticsearch. While this list allows you to view the core type of e...
Logstash之grok字段
狐狸小七的博客
05-28 1934
#logstash中grok插件的使用 #grok中match插件的使用 grok { #提取字段 match => { "source" => "(\w+/){2}(?<project>.*?)/.*" } ...
[log]logstash添加字段.geoip展示
毛台
09-17 6498
add_field配置文件input{ file{ add_field => {"testfield"=>"testfield"} path => ["/tmp/a.txt"] type => "a-txt" } }output{ if [type] == "a-txt"{ elasticsearch{
logstash自定义字段类型
coder-zzzz的博客
02-17 2608
说明 基于7.17版本 编写conf文件 rocketmq.json # The # character at the beginning of a line indicates a comment. Use # comments to describe your configuration. input { beats { port => "5044" #logstash监听端口 } } # The filter part
Logstash输出到Elasticsearch笔记
热门推荐
Ghost Stories
02-08 2万+
output配置中elasticsearch配置 action index 给一个文档建立索引 delete 通过id值删除一个文档（这个action需要指定一个id值） create 插入一条文档信息，如果这条文档信息在索引中已经存在，那么本次插入工作失败 update 通过id值更新一个文档。更新有个特殊的案例upsert，如果被更新的文档还不存在，那么就会用到...
Logstash日志数据采集与ELK可视化分析实战
02-21
基于Logstash的日志数据采集和ELK可视化海量日志分析平台实战（全套视频+课件+代码+讲义+工具），具体内容包括： 01 Logstash的架构及运行流程 02 Logstash的数据采集案例（一） 03 Logstash的数据采集案例（二） 04...
实战ELK 和logstash
08-28
ELK实战，设计到logstash等。
Spring Boot 使用 logback、logstash、ELK 记录日志文件的方法
08-28
主要介绍了Spring Boot 使用 logback、logstash、ELK 记录日志文件的思路详解，文中给大家提到了logback 取代 log4j的理由,需要的朋友可以参考下
k8s-elk:Kubernetes ELK-ElasticSearch，Kibana，Logstash和所有装饰
05-18
Kubernetes ELK-ElasticSearch，Kibana，Logstash和所有装饰该存储库当前包含ElasticSearch和Kibana配置。 ElasticSearch以3种形式运行。 第一个是“主”类型，这是ElasticSearch文档中的主类型。 第二种类型是...
logstash 自定义input
王百林的博客
12-04 2176
  logstash作为一个数据管道中间件，支持对各种类型数据的采集与转换，并将数据发送到各种类型的存储库，比如实现消费kafka数据并且写入到Elasticsearch, 日志文件同步到对象存储S3等，mysql数据同步到Elasticsearch等。 logstash内部主要包含三个模块： input: 从数据源获取数据 filter: 过滤、转换数据 output: 输出数据 ...
grok logstash配置,使用grok将日志文件名添加为logstash中的字段
weixin_32537985的博客
12-19 430
I'm using Grok & Logstash to send access logs from Nginx to Elastic search. I'm giving Logstash all my access logs (with a wildcard, works well) and I would like to get the filename (some part of ...
【logstash】logstash使用自定义ruby脚本新增字段
shen12138的博客
05-14 1836
实现步骤： 添加ruby插件，捕获system字段值，赋值给app_type 如果app_type捕获为null，则手动赋值为空字符串，这里注意，null和空字符串不一样。如果不添加判断，logstash每次进入一个为null就会报错，可能会影响处理速率 使用length方法判断长度，字符串0和大于12的，手动赋值system 不满足12的补全到12位字符串，然后转换为objectid 脚本如下： #!/usr/local/logstash-7.9.3/bin/ruby def filter(even
ELK系列(5) - Logstash怎么分割字符串并添加新的字段到Elasticsearch
weixin_30402343的博客
05-13 1737
问题 有时候我们想要在Logstash里对收集到的日志等信息进行分割，并且将分割后的字符作为新的字符来index到Elasticsearch里。假定需求如下： Logstash收集到的日志字段message的值是由多个字段拼接而成的，分隔符是;,;，如下： { "message": "key_1=value_1;,;key_2=value_2" } 现在想要将message的值拆...
logstash Grok内置字段类型
Cls的博客
04-17 1346
相关链接： https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns https://github.com/logstash-plugins/logstash-patterns-core/tree/master/patterns USERNAME [a-zA-...
logstash 数据类型的修改
sxf_123456的博客
09-01 1万+
logstash 数据类型的修改 logstash 中可以设置字段的类型为integer,float,string filter{ mutate{ convert => ["request_time","float"] #设置request_time的类型为float类型 } } 注意：mutate 除了转化字符值，还支持对数组类型的字段进行转换，即将["1","2"]转换
logstash修改字段类型
weixin_39318540的博客
08-24 1549
logstash 中可以设置字段的类型为integer,string,float,boolean filter { grok { match => {"message" => "(?<client_ip>%{USERNAME}) - - \[(?<time>[0-9a-zA-Z/: +]+)\] \"%{NOTSPACE:method} %{NOTSPACE:url} %{NOTSPACE}[\"] %{INT:status} %{INT} [\"]%{USE.
logstash如何使用grok来自定义字段
sandaawa的博客
12-03 2444
百度一搜索logstash都是别人写好的nginx字段过滤，但是自己在使用的时候想过滤别的数据，匹配一个都可以，但是匹配多个有时候就会不好用，这个问题我就在长时间的摸索中发现，grok在匹配多个的时候要进行整段的匹配，下面还是以日期和时间为例。 目前所有单独匹配都是可以匹配上的，下面我们再来试一下匹配为两个字段 匹配两个字段也是没问题的，但是我们再在原数据上加点东西匹配就是失败 ...
logstash匹配路径字段
zsx18273117003的博客
05-27 1053
方法一：使用grok插件 1. d:/usr2/local/etc/logstash/pipeline1目录下logstash.conf配置文件 input { stdin { } } filter { grok { # 匹配路徑 /usr/share/filebeat/log/apps/butler/filebeat5.log中的butler match => {message => "^/%{DATA}/%{DATA}/%{DATA
ELK logstash 配置
最新发布
09-22
ELK（Elasticsearch, Logstash, Kibana）是一个开源的日志分析平台，其中Logstash是用于日志收集、处理和转发的工具。在Logstash中，可以使用配置文件来定义输入（input）、过滤器（filter）和输出（output）等部分。 配置文件通常使用.conf文件扩展名，并包含以下基本语法组成： input { # 输入配置 } filter { # 过滤器配置 } output { # 输出配置 } 在输入部分（input），可以选择不同的插件来指定数据源。在你提供的引用中，有两个插件示例： syslog {}：用于接收和处理Syslog协议的日志消息。 file { path => "/var/log/messages" start_position => "beginning" }：用于读取指定文件的日志内容。 在过滤器部分（filter），可以使用不同的插件对输入的日志进行处理和转换。 在输出部分（output），可以使用不同的插件将处理后的日志发送到指定的目标，比如保存到文件、发送到Elasticsearch等。 ELK配置文件的具体内容和参数会根据实际需求和环境而有所不同，可以根据具体情况进行配置调整。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值