Logstash 原理分析/配置文件详解 时间 日期 时区 ip 反斜杠 grok在线地址 类型转换

最新推荐文章于 2024-05-16 05:11:44 发布
最新推荐文章于 2024-05-16 05:11:44 发布
阅读量6.3k 收藏 4
点赞数 1
分类专栏： ELK
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_28364999/article/details/82945024
版权
  1. 基本配置

    Logstash 本身不能建立集群，Filebeat 连接 Logstash 后会自动轮询 Logstash 服务器是否可用，把数据发送到可用的 Logstash 服务器上面去

    Logstash 配置，监听5044端口，接收 Filebeat 发送过来的日志，然后利用 grok 对日志过滤，根据不同的日志设置不同的 type，并将日志存储到 Elasticsearch 集群上面

    项目日志跟nginx日志配置在一起，elasticsearch 配置的索引 index 里面不能大写，不然会出现奇怪的bug

    input {
  beats {
    port => "5044"
  }
}
 
filter {
 
  date {
      match => ["@timestamp", "yyyy-MM-dd HH:mm:ss"]
  }
  grok {
    match => {
      "source" => "(?<type>([A-Za-z]*-[A-Za-z]*-[A-Za-z]*)|([A-Za-z]*-[A-Za-z]*)|access|error)"
    }
  }
   mutate {
  	convert => [ "upstream_response_time", "float" ]
    }
 
}
 
output {
  # 针对不同的项目日志需要写不同的判断项
  if [type] == "MS-System-OTA"{
    elasticsearch {
      hosts => ["172.18.1.152:9200","172.18.1.153:9200","172.18.1.154:9200"]
      index => "logstash-ms-system-ota-%{+YYYY.MM.dd}"
    }
  }else if [type] == "access" or [type] == "error"{
    elasticsearch {
      hosts => ["172.18.1.152:9200","172.18.1.153:9200","172.18.1.154:9200"]
      index => "logstash-nginx-%{+YYYY.MM.dd}"
    }
  }else{
    elasticsearch {
      hosts => ["172.18.1.152:9200","172.18.1.153:9200","172.18.1.154:9200"]
    }
  }
  stdout {
    codec => rubydebug
  }
}
  2. logstash 的 grok-patterns

    Grok 是 Logstash 最重要的插件之一，我们利用 Grok 对日志文件进行分析，取出我们需要的数据

    USERNAME [a-zA-Z0-9._-]+
USER %{USERNAME}
INT (?:[+-]?(?:[0-9]+))
BASE10NUM (?<![0-9.+-])(?>[+-]?(?:(?:[0-9]+(?:\.[0-9]+)?)|(?:\.[0-9]+)))
NUMBER (?:%{BASE10NUM})
BASE16NUM (?<![0-9A-Fa-f])(?:[+-]?(?:0x)?(?:[0-9A-Fa-f]+))
BASE16FLOAT \b(?<![0-9A-Fa-f.])(?:[+-]?(?:0x)?(?:(?:[0-9A-Fa-f]+(?:\.[0-9A-Fa-f]*)?)|(?:\.[0-9A-Fa-f]+)))\b

POSINT \b(?:[1-9][0-9]*)\b
NONNEGINT \b(?:[0-9]+)\b
WORD \b\w+\b
NOTSPACE \S+
SPACE \s*
DATA .*?
GREEDYDATA .*
QUOTEDSTRING (?>(?<!\\)(?>"(?>\\.|[^\\"]+)+"|""|(?>'(?>\\.|[^\\']+)+')|''|(?>`(?>\\.|[^\\`]+)+`)|``))
UUID [A-Fa-f0-9]{8}-(?:[A-Fa-f0-9]{4}-){3}[A-Fa-f0-9]{12}

# Networking
MAC (?:%{CISCOMAC}|%{WINDOWSMAC}|%{COMMONMAC})
CISCOMAC (?:(?:[A-Fa-f0-9]{4}\.){2}[A-Fa-f0-9]{4})
WINDOWSMAC (?:(?:[A-Fa-f0-9]{2}-){5}[A-Fa-f0-9]{2})
COMMONMAC (?:(?:[A-Fa-f0-9]{2}:){5}[A-Fa-f0-9]{2})
IPV6 ((([0-9A-Fa-f]{1,4}:){7}([0-9A-Fa-f]{1,4}|:))|(([0-9A-Fa-f]{1,4}:){6}(:[0-9A-Fa-f]{1,4}|((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3})|:))|(([0-9A-Fa-f]{1,4}:){5}(((:[0-9A-Fa-f]{1,4}){1,2})|:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3})|:))|(([0-9A-Fa-f]{1,4}:){4}(((:[0-9A-Fa-f]{1,4}){1,3})|((:[0-9A-Fa-f]{1,4})?:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){3}(((:[0-9A-Fa-f]{1,4}){1,4})|((:[0-9A-Fa-f]{1,4}){0,2}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){2}(((:[0-9A-Fa-f]{1,4}){1,5})|((:[0-9A-Fa-f]{1,4}){0,3}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(([0-9A-Fa-f]{1,4}:){1}(((:[0-9A-Fa-f]{1,4}){1,6})|((:[0-9A-Fa-f]{1,4}){0,4}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:))|(:(((:[0-9A-Fa-f]{1,4}){1,7})|((:[0-9A-Fa-f]{1,4}){0,5}:((25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)(\.(25[0-5]|2[0-4]\d|1\d\d|[1-9]?\d)){3}))|:)))(%.+)?
IPV4 (?<![0-9])(?:(?:25[0-5]|2[0-4][0-9]|[0-1]?[0-9]{1,2})[.](?:25[0-5]|2[0-4][0-9]|[0-1]?[0-9]{1,2})[.](?:25[0-5]|2[0-4][0-9]|[0-1]?[0-9]{1,2})[.](?:25[0-5]|2[0-4][0-9]|[0-1]?[0-9]{1,2}))(?![0-9])
IP (?:%{IPV6}|%{IPV4})
HOSTNAME \b(?:[0-9A-Za-z][0-9A-Za-z-]{0,62})(?:\.(?:[0-9A-Za-z][0-9A-Za-z-]{0,62}))*(\.?|\b)
HOST %{HOSTNAME}
IPORHOST (?:%{HOSTNAME}|%{IP})
HOSTPORT %{IPORHOST}:%{POSINT}

# paths
PATH (?:%{UNIXPATH}|%{WINPATH})
UNIXPATH (?>/(?>[\w_%!$@:.,-]+|\\.)*)+
TTY (?:/dev/(pts|tty([pq])?)(\w+)?/?(?:[0-9]+))
WINPATH (?>[A-Za-z]+:|\\)(?:\\[^\\?*]*)+
URIPROTO [A-Za-z]+(\+[A-Za-z+]+)?
URIHOST %{IPORHOST}(?::%{POSINT:port})?
# uripath comes loosely from RFC1738, but mostly from what Firefox
# doesn't turn into %XX
URIPATH (?:/[A-Za-z0-9$.+!*'(){},~:;=@#%_\-]*)+
#URIPARAM \?(?:[A-Za-z0-9]+(?:=(?:[^&]*))?(?:&(?:[A-Za-z0-9]+(?:=(?:[^&]*))?)?)*)?
URIPARAM \?[A-Za-z0-9$.+!*'|(){},~@#%&/=:;_?\-\[\]]*
URIPATHPARAM %{URIPATH}(?:%{URIPARAM})?
URI %{URIPROTO}://(?:%{USER}(?::[^@]*)?@)?(?:%{URIHOST})?(?:%{URIPATHPARAM})?

# Months: January, Feb, 3, 03, 12, December
MONTH \b(?:Jan(?:uary)?|Feb(?:ruary)?|Mar(?:ch)?|Apr(?:il)?|May|Jun(?:e)?|Jul(?:y)?|Aug(?:ust)?|Sep(?:tember)?|Oct(?:ober)?|Nov(?:ember)?|Dec(?:ember)?)\b
MONTHNUM (?:0?[1-9]|1[0-2])
MONTHNUM2 (?:0[1-9]|1[0-2])
MONTHDAY (?:(?:0[1-9])|(?:[12][0-9])|(?:3[01])|[1-9])

# Days: Monday, Tue, Thu, etc...
DAY (?:Mon(?:day)?|Tue(?:sday)?|Wed(?:nesday)?|Thu(?:rsday)?|Fri(?:day)?|Sat(?:urday)?|Sun(?:day)?)

# Years?
YEAR (?>\d\d){1,2}
HOUR (?:2[0123]|[01]?[0-9])
MINUTE (?:[0-5][0-9])
# '60' is a leap second in most time standards and thus is valid.
SECOND (?:(?:[0-5]?[0-9]|60)(?:[:.,][0-9]+)?)
TIME (?!<[0-9])%{HOUR}:%{MINUTE}(?::%{SECOND})(?![0-9])
# datestamp is YYYY/MM/DD-HH:MM:SS.UUUU (or something like it)
DATE_US %{MONTHNUM}[/-]%{MONTHDAY}[/-]%{YEAR}
DATE_EU %{MONTHDAY}[./-]%{MONTHNUM}[./-]%{YEAR}
ISO8601_TIMEZONE (?:Z|[+-]%{HOUR}(?::?%{MINUTE}))
ISO8601_SECOND (?:%{SECOND}|60)
TIMESTAMP_ISO8601 %{YEAR}-%{MONTHNUM}-%{MONTHDAY}[T ]%{HOUR}:?%{MINUTE}(?::?%{SECOND})?%{ISO8601_TIMEZONE}?
DATE %{DATE_US}|%{DATE_EU}
DATESTAMP %{DATE}[- ]%{TIME}
TZ (?:[PMCE][SD]T|UTC)
DATESTAMP_RFC822 %{DAY} %{MONTH} %{MONTHDAY} %{YEAR} %{TIME} %{TZ}
DATESTAMP_RFC2822 %{DAY}, %{MONTHDAY} %{MONTH} %{YEAR} %{TIME} %{ISO8601_TIMEZONE}
DATESTAMP_OTHER %{DAY} %{MONTH} %{MONTHDAY} %{TIME} %{TZ} %{YEAR}
DATESTAMP_EVENTLOG %{YEAR}%{MONTHNUM2}%{MONTHDAY}%{HOUR}%{MINUTE}%{SECOND}

# Syslog Dates: Month Day HH:MM:SS
SYSLOGTIMESTAMP %{MONTH} +%{MONTHDAY} %{TIME}
PROG (?:[\w._/%-]+)
SYSLOGPROG %{PROG:program}(?:\[%{POSINT:pid}\])?
SYSLOGHOST %{IPORHOST}
SYSLOGFACILITY <%{NONNEGINT:facility}.%{NONNEGINT:priority}>
HTTPDATE %{MONTHDAY}/%{MONTH}/%{YEAR}:%{TIME} %{INT}

# Shortcuts
QS %{QUOTEDSTRING}

# Log formats
SYSLOGBASE %{SYSLOGTIMESTAMP:timestamp} (?:%{SYSLOGFACILITY} )?%{SYSLOGHOST:logsource} %{SYSLOGPROG}:
COMMONAPACHELOG %{IPORHOST:clientip} %{USER:ident} %{USER:auth} \[%{HTTPDATE:timestamp}\] "(?:%{WORD:verb} %{NOTSPACE:request}(?: HTTP/%{NUMBER:httpversion})?|%{DATA:rawrequest})" %{NUMBER:response} (?:%{NUMBER:bytes}|-)
COMBINEDAPACHELOG %{COMMONAPACHELOG} %{QS:referrer} %{QS:agent}

# Log Levels
LOGLEVEL ([Aa]lert|ALERT|[Tt]race|TRACE|[Dd]ebug|DEBUG|[Nn]otice|NOTICE|[Ii]nfo|INFO|[Ww]arn?(?:ing)?|WARN?(?:ING)?|[Ee]rr?(?:or)?|ERR?(?:OR)?|[Cc]rit?(?:ical)?|CRIT?(?:ICAL)?|[Ff]atal|FATAL|[Ss]evere|SEVERE|EMERG(?:ENCY)?|[Ee]merg(?:ency)?)
  3. 针对几个不同的message写的几个grok demo 读取日志文件
    1. 对于 nginx 的 error.log 的 message 的处理
    # message:   2018/09/18 16:33:51 [error] 15003#0: *545757 no live upstreams while connecting to upstream, client: 39.108.4.83, server: dev-springboot-admin.tvflnet.com, request: "POST /instances HTTP/1.1", upstream: "http://localhost/instances", host: "dev-springboot-admin.tvflnet.com"

filter {
  #定义数据的格式
  grok {
    match => { "message" => "%{DATA:timestamp}\ \[%{DATA:level}\] %{DATA:nginxmessage}\, client: %{DATA:client}\, server: %{DATA:server}\, request: "%{DATA:request}\", upstream: "%{DATA:upstream}\", host: "%{DATA:host}\""}
  }
}
    1. 对于 nginx 的 error.log 的 message 的处理
    # message:    2018/04/19 20:40:27 [error] 4222#0: *53138 open() "/data/local/project/WebSites/AppOTA/theme/js/frame/layer/skin/default/icon.png" failed (2: No such file or directory), client: 218.17.216.171, server: dev-app-ota.tvflnet.com, request: "GET /theme/js/frame/layer/skin/default/icon.png HTTP/1.1", host: "dev-app-ota.tvflnet.com", referrer: "http://dev-app-ota.tvflnet.com/theme/js/frame/layer/skin/layer.css"

filter {
  #定义数据的格式
  grok {
    match => { "message" => "%{DATA:timestamp}\ \[%{DATA:level}\] %{DATA:nginxmessage}\, client: %{DATA:client}\, server: %{DATA:server}\, request: \"%{DATA:request}\", host: \"%{DATA:host}\", referrer: \"%{DATA:referrer}\""}
  }
}
    1. 对于 lua 的 error.log 的 message 的处理
    # message:    2018/09/05 18:02:19 [error] 2325#0: *17083157 [lua] PushFinish.lua:38: end push statistics, client: 119.137.53.205, server: dev-system-ota-statistics.tvflnet.com, request: "POST /upgrade/push HTTP/1.1", host: "dev-system-ota-statistics.tvflnet.com"

filter {
  #定义数据的格式
  grok {
    match => { "message" => "%{DATA:timestamp}\ \[%{DATA:level}\] %{DATA:luamessage}\, client: %{DATA:client}\, server: %{DATA:server}\, request: \"%{DATA:request}\", host: \"%{DATA:host}\""}
  }
}
    1. 对于 电视端接口日志的 message 的处理
    # message:    traceid:[Thread：943-sn:sn-mac:mac] 2018-09-18 11:07:03.525 DEBUG com.flnet.utils.web.log.DogLogAspect 55 - Params-参数(JSON):{"backStr":"{\"groupid\":5}","build":201808310938,"ip":"119.147.146.189","mac":"mac","modelCode":"SHARP_0_50#SHARP#IQIYI#LCD_50SUINFCA_H","sn":"sn","version":"modelCode"}

filter {
  #定义数据的格式
  grok {
    match => { "message" => "traceid:%{DATA:traceid}\[Thread：%{DATA:thread}\-sn:%{DATA:sn}\-mac:%{DATA:mac}\]\ %{TIMESTAMP_ISO8601:timestamp}\ %{DATA:level}\ %{GREEDYDATA:message}"}
  }
}
    1. 对于 项目日志的 message 的处理
    # message:    traceid:[] 2018-09-14 02:14:48.209 WARN  de.codecentric.boot.admin.client.registration.ApplicationRegistrator 115 - Failed to register application as Application(name=ta-system-ota, managementUrl=http://TV-DEV-API01:10005/actuator, healthUrl=http://TV-DEV-API01:10005/actuator/health, serviceUrl=http://TV-DEV-API01:10005/, metadata={startup=2018-09-10T10:20:41.812+08:00}) at spring-boot-admin ([https://dev-springboot-admin.tvflnet.com/instances]): I/O error on POST request for "https://dev-springboot-admin.tvflnet.com/instances": connect timed out; nested exception is java.net.SocketTimeoutException: connect timed out. Further attempts are logged on DEBUG level

filter {
  #定义数据的格式
  grok {
    match => { "message" => "traceid:\[%{DATA:traceid}\] %{TIMESTAMP_ISO8601:timestamp}\ %{DATA:level}\ %{GREEDYDATA:message}"}
  }
}
    1. nginx 配置的日志
    # message:     {"@timestamp":"2018-09-20T02:47:00+08:00", "http_host":"":"system-ota-tvapi.tvflnet.com", "", "status":"200", "method":"HEAD / HTTP/1.1", "request_body":"-", "url":"/:"/index.html", "", "host":"":"172.18.156.12", "", "clientip":"":"100.116.222.149", "", "size":"0", "responsetime":"0.000", "upstreamtime":"-", "upstreamhost":"-", "xff":"":"140.205.205.25", "", "referer":"-", "agent":"Go-http-client/1.1"}
filter {
  #定义数据的格式
  grok {
    match => { "message" =>  "{\"@timestamp\":\"%{TIMESTAMP_ISO8601:timestamp}\", \"http_host\":\"%{DATA:http_host}\", \"status\":\"%{DATA:status}\", \"method\":\"%{DATA:method}\", \"request_body\":\"%{DATA:request_body}\", \"url\":\"%{DATA:url}\", \"host\":\"%{DATA:host}\", \"clientip\":\"%{DATA:clientip}\", \"size\":\"%{DATA:size}\", \"responsetime\":\"%{DATA:responsetime}\", \"upstreamtime\":\"%{DATA:upstreamtime}\", \"upstreamhost\":\"%{DATA:upstreamhost}\", \"xff\":\"%{DATA:xff}\", \"referer\":\"%{DATA:referer}\", \"agent\":\"%{DATA:agent}\"}"
  }
}

    对于多项 不同的匹配配置多个grok
    Logstash 启动命令：nohup ./bin/logstash -f ./config/conf.d/logstash-simple.conf >/dev/null 2>&1 &

  4. 对于日期时间的处理
filter {
  date {
    # 有多个项的话能匹配多个不同的格式
    match => [ "logdate", "MMM dd yyyy HH:mm:ss","ISO8601" ]
    target => "fieldName1"
    timezone => "Asia/Shanghai"
  }
}

date插件特有的选项如下:

  • local

    • string类型
    • 没有默认值
      用于指定本地方言,比如设置为en,en-US等.主要用于解析非数字的月,和天,比如Monday,May等.如果是时间日期都是数字的话,不用关心这个值.

  • match

    • array类型
    • 默认为[]
      用于将指定的字段按照指定的格式解析.比如:
    match => ["createtime", "yyyyMMdd","yyyy-MM-dd"]

    第一个值为字段名,其余值为解析的格式,如果有多个可能的格式,可以设置多个.

  • tag_on_failure

    • array类型
    • 默认为["_dateparsefailure"]
      添加一个值到tags字段中,如果日期解析失败.

  • target

    • string类型
    • 默认为@timestamp
    • 用于指定转化后的日期保存的字段名

  • timezone

    • string类型
    • 没有默认值
      用于为要被解析的时间指定一个时区,值为时区的canonical ID,可以在这里看到可以使用的值.
      一般不用设置,因为会根据当前系统的时区获取这个值.
      这里设置的时区并不是logstash最终储存的时间的时区,logstash最终储存的时间为 UTC标准时间.
      比如这里设置时间为20171120:

    如果时区为Asia/Shanghai那么转化后的时间为2017-11-19T16:00:00.000Z;
    如果时区为Europe/Vienna那么转化后的时间为2017-11-19T23:00:00.000Z;
    处理时区问题

    ruby { 
	code => "event.set('timestamp', event.get('@timestamp').time.localtime + 8*60*60)" 
}
ruby {
	code => "event.set('@timestamp',event.get('timestamp'))"
}
  • 转义字符(其他字符)的转换
    mutate {
   gsub => [
     "request_body", "\\x22", '"'
   ]
   gsub => [
     "request_body", "\\x0A", "\n"
   ]
 }
  • JSON 处理
    json {
   source => "message"
 }
  • 删除某些项
    mutate {
  remove_field => [ "message" ]
}
  • 格式转换
    mutate {
  convert => [ "upstream_response_time", "float" ]
}
    Elasticsearch 字段数据类型

    Elasticsearch 可以支持单个document中含有多个不同的数据类型。

  • 核心数据类型（Core datatypes）
    • 字符型（String datatype）：string
    • 数字型（Numeric datatypes）：long：64位存储 , integer：32位存储 , short：16位存储 , byte：8位存储 , double：64位双精度存储 , float：32位单精度存储
    • 日期型（Date datatype）：date
    • 布尔型（Boolean datatype）：boolean
    • 二进制型（Binary datatype）：binary
  • 复杂数据类型（Complex datatypes）
    • 数组类型（Array datatype）：数组类型不需要专门指定数组元素的type，例如：
      • 字符型数组: [ “one”, “two” ]
      • 整型数组：[ 1, 2 ]
      • 数组型数组：[ 1, [ 2, 3 ]] 等价于[ 1, 2, 3 ]
      • 对象数组：[ { “name”: “Mary”, “age”: 12 }, { “name”: “John”, “age”: 10 }]
    • 对象类型（Object datatype）： object 用于单个JSON对象；
    • 嵌套类型（Nested datatype）： nested 用于JSON数组；
  • 地理位置类型（Geo datatypes）
    • 地理坐标类型（Geo-point datatype）： geo_point 用于经纬度坐标；
    • 地理形状类型（Geo-Shape datatype）： geo_shape 用于类似于多边形的复杂形状；
  • 专业类型（Specialised datatypes）
    • IPv4 类型（IPv4 datatype）： ip 用于IPv4 地址；
    • Completion 类型（Completion datatype）： completion 提供自动补全建议；
    • Token count 类型（Token count datatype）： token_count 用于统计做了标记的字段的index数目，该值会一直增加，不会因为过滤条件而减少。
    • mapper-murmur3 类型：通过插件，可以通过 murmur3 来计算index的 hash 值；
    • 附加类型（Attachment datatype）：采用mapper-attachments 插件，可支持 attachments 索引，例如Microsoft Office 格式，Open Document 格式，ePub, HTML 等。
  1. Logstash 关于 '\' 反斜杠的处理
    利用 mutate 的 gsub 处理字符串要保留斜杠的时候会出现解析失败，
    想要保留反斜杠，必须在反斜杠后面保留一个字符，如下
    mutate {
  gsub => [
    "request_body", "\\x5C\\x22", '\\"'
  ]
  2. Logstash 处理 ip
    	geoip {
		source => "clientip"
	}
  3. Logstash 在线验证地址
麦冬1897
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
logstash 通配日期目录
zhaoyangjian724的专栏
12-05 691
logstash
ELK 之 Logstash
热门推荐
古月的博客
08-09 1万+
ELK 之 Logstash简介:ELK 之 LogstashLogstash 是一个接收,处理,转发日志的工具。支持系统日志,webserver 日志,错误日志,应用日志,总之包括所有可以抛出来的日志类型。在一个典型的使用场景下(ELK):用 Elasticsearch 作为后台数据的存储,kibana用来前端的报表展示。Logstash 在其过程中担任搬运工的角色,它为数据存储,报表查询和日志解
轻松掌握Logstash的grok匹配
全菜工程师小辉的博客
03-16 7317
Logstash的filter插件在7.5.1版本中，有多达46种。介绍filter插件的官网地址，感兴趣的话可以自行研究，点此跳转 本文主要讲解filter插件中的grok。通过在filter中使用grok，可以把日志中的关键字快速匹配出来。 grok主要有两部分：自定义正则表达式和系统预定义的模式表达式。 Grok Debugger在线匹配正则 推荐一款在线匹配正则的网站——Grok Debu...
ELK logstash gork匹配在线测试
夏已微凉、
09-28 4782
1、在线调试2、kibana 中调试 1、在线调试 grok debugger 在线调试 内容 [2020-09-26 08:34:41] 127.0.0.1 GET local.test.com:8010/index/index/test?name=张三&id=9 0.412191 [ info ] 信息异常 正则 [\s\S]*\]\s(?<client_ip>[0-9\.]+)\s(?<method>[A-Za-z]+)\s(?<url>[^\s.
Logstash常用配置和日志解析_logstash 日志输出位置
2401_84715926的博客
05-16 1211
syslog { # 系统日志方式type => “system-syslog” # 定义类型port => 10514 # 定义监听端口beats { # filebeats方式filter {#定义数据的格式grok {#定义时间戳的格式date {#定义客户端的IP是哪个字段（上面定义的数据格式）geoip {#需要进行转换的字段，这里是将访问的时间转成int，再传给Elasticsearchmutate {output {
关于Logstash中grok插件的正则表达式例子
weixin_30732487的博客
07-03 343
一、前言 近期需要对Nginx产生的日志进行采集，问了下度娘，业内最著名的解决方案非ELK(Elasticsearch, Logstash, Kibana)莫属。 Logstash负责采集日志，Elasticsearch负责存储、索引日志，Kibana则负责通过Web形式展现日志。 今天，我要说的是Logstash，它可以从多种渠道采集数据，包括控制台标准输入、日志文件、队列等等，只要你能想到，都...
logstash的基本使用
西卡卡的博客
11-17 284
使用logstash输入 filebeat收集的日志 并解析字段 输出到es filebeat_logstash.yml filebeat.inputs: filebeat.config.modules: path: ${path.config}/modules.d/*.yml reload.enabled: true reload.period: 10s # 对路径下的文件进行更改检查的周期 output.logstash: hosts: ["localhost:5044"]
Palo Alto防火墙生产环境logstash配置文件 PANOS 10.2.8 测试通过 - 2024最新版
04-03
这个配置文件用于通过 logstash 解析Palo Alto Networks（PAN-OS）防火墙产生的Syslog日志，并将其转换为结构化的数据格式以便于后续处理和分析。 这个配置文件提供了以下功能： 1. 解析Palo Alto Networks（PAN-...
logstash的配置文件
07-27
Logstash 是一个强大的数据收集、处理和转发工具，广泛应用于日志管理和监控系统中。它的核心功能是通过输入（input）、过滤（filter）和输出...通过灵活配置Logstash，你可以构建出高效、强大的日志管理和分析系统。
logstash 采集log4j日志配置文件
07-27
logstash采集log4j日志发送到es配置文件，可以把日志根据日志级别区分开，一个级别一条日志是es中的一条数据
logstash grok(正则表达式)提取日志信息
07-28
logstash grok 添加了自定义的正则表达式，可以提取出日志的等级，日志的时间，日志的线程号
logstash使用之日期处理
落叶下的光
11-24 1万+
概述日期插件Date filter plugin用于对logstash接收到的字段中的日期进行处理,可以使用处理后的日期作为logstash的timestamp.日期进行处理后,可以在kibana中用于统计和分析.参考logstash帮助文档简单使用input{ stdin{ } } filter{ date{ match => ["messa
Logstash-日志配置文件读取，使用日志日期
weixin_33894992的博客
09-05 1633
为什么80%的码农都做不了架构师？>>> ...
Logstash 时间格式化
Brave_heart4pzj的博客
05-17 1925
情景： 我这边对接kafka，通过^符号来进行字符串分割 其中， 有个时间字段，但是，时间是14位的数字字符串 类似：20220517162218 于是，我这边需要转换成date类型的，才能在页面上按时间查询 转换成：2022-05-17 14:51:23 代码： mutate{ split => ["message","^"] add_field => { "my_time" => "%{[message][8]}" } } da
logstash mysql日期_logstash-input-jdbc取mysql数据日期格式处理
weixin_42505792的博客
01-27 392
2018-03-23T04:18:33.000Z，因为想使用这个字段作为@timestamp，所以使用logstash的date 去match 。date {match => ["start_time","ISO8601"]}但实际发现每个document都会附带一个[_dataparserfail]的标签，百思不得姐google一番后终于明白了，链接：https://discuss.ela...
logstash中常见时间格式的定义
weixin_42039715的博客
11-27 3347
1、在配置文件中自定义的时间格式 例如 tomcat 定义的格式%{yyyy-MM-dd HH:mm:ss Z},按照这样的配置，输出的日志原文是 "timestamp" ： "2019-12-11 10:11:12 +0800" 　　那么在 logstash 中应该这样配置 date { 　　match => [ "timestamp", "yyyy-MM-dd HH:mm:ss Z"] 　　target => "@timastamp" } 这样子不会报"_datepa...
Elasticsearch-6.7.0系列（五）5044端口 logstash安装
weixin_30404405的博客
04-02 2853
centos7环境 下载logstash wgethttps://artifacts.elastic.co/downloads/logstash/logstash-6.7.0.tar.gz 下载 logstash-sample.conf是默认配置文件，里面的默认端口是5044 tar -zxvf logstash-6.7.0.tar.gz ./bin/logstas...
grok java_ELK实战 - Grok简易入门
weixin_28753647的博客
02-26 733
Grok是ELK栈中，用来快速解析日志的一个脚本工具，运用得好的话，可以极大程度的降低日志解析的工作，最好的Grok表达式的学习方式是去阅读 官方文档 。Example 示例一个简单的Grok表达式:%{IP:source_ip}它表示使用名为IP的正则表达式提取出内容，并命名为 source_ip 。我们以一个Nginx日志的例子来了解Grok表达式的工作模式:// IP HTTP方法 请求资源...
Logstash 配置文件 Grok 语法
王小明的专栏
09-02 2302
Logstash 配置文件 Grok 语法 Grok 是啥？ Grok 是一种采用组个多个预定义的正则表达式。用来匹配分割文本，并且映射到关键字的工具。主要用来对日志数据进行预处理。Logstash 的 filter 模块中 grok 插件就是其应用。其实主要思想就是用正则的方式匹配出字段，然后映射成某个...
sudo /usr/share/logstash/bin/logstash -f ./logstash_mysql.conf
最新发布
06-23
`sudo /usr/share/logstash/bin/logstash -f ./logstash_mysql.conf` 这个命令是在Linux或Unix系统中运行Logstash这个工具的命令行方式。Logstash是一个开源的数据处理管道，主要用于收集、过滤和将各种数据源（如日志文件、数据库等）转化为结构化的数据，以便进一步分析或整合。 - `sudo`：这是一个超级用户权限执行的前缀，用于运行需要更高权限的命令，如更改系统设置或访问系统资源。 - `/usr/share/logstash/bin/logstash`：这是Logstash可执行文件的路径，`bin`目录通常包含系统的可执行程序。 - `-f`：表示使用指定的配置文件（file）选项，`./logstash_mysql.conf` 是Logstash要读取的配置文件，位于当前目录下，它定义了Logstash如何解析和处理数据的具体规则。 这个命令的作用是启动Logstash进程，并使用`./logstash_mysql.conf`中的配置来配置Logstash如何从MySQL数据库中提取数据并进行处理。相关问题： 1. Logstash是什么，它的主要功能是什么？ 2. 配置文件`logstash_mysql.conf`是如何影响Logstash行为的？ 3. 如果在执行过程中遇到权限问题，应该怎么做？

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值