ELK 6.2.4 日志处理之syslog格式的定义

syslog的原始数据

syslog

2018-05-22T00:00:03.645241+08:00 192.168.255.252 time: 2018-05-21 23:57:21;danger_degree:3;breaking_sighn:0;event:[24105]Spring Data REST远程代码执行漏洞(CVE-2017-8046);src_addr:106.122.255.12;src_port:56848;dst_addr:192.167.38.96;dst_port:80;proto:HTTP;user:

grok的日志匹配

%{TIMESTAMP_ISO8601:uploadclient} %{IP:ip} time: %{YEAR}[./-]%{MONTHNUM}[./-]%{MONTHDAY} %{TIME};danger_degree:%{NUMBER:danger_degree};breaking_sighn:%{NUMBER:breaking_sighn};event:\[%{NUMBER:event_id}\]%{GREEDYDATA:event_msg};src_addr:%{IP:src_addr};src_port:%{NUMBER:src_port};dst_addr:%{IP:dst_addr};dst_port:%{NUMBER:dst_port};proto:%{WORD:proto};user:

logx的自定义日志格式

2018-07-25 12:18:38.935 rbac         app    0x4811DCE2       ClassPathBeanDefinitionScanner.s message      Identified candidate component class: URL [jar:file:/D:/app/workspace/java/workspace/bksx-rbac/core/build/libs/bksx-rbac-core-1.0.0-SNAPSHOT.jar!/com/sx/support/rbac/remote/util/ReqTimeSaveService.class]

解析logx的grok正则表达式

%{YEAR}[./-]%{MONTHNUM}[./-]%{MONTHDAY} %{TIME}\s*%{WORD:app}\s*%{WORD:module}\s*%{WORD:thread}\s*%{JAVACLASS:method}\s*%{WORD:level}\s*%{GREEDYDATA:info}

这里有几处不是很完美，就是中国格式的日期时间，没处理完，有空处理