ELK日志分析平台——ELK海量日志分析平台搭建-补充篇

目录

1、filebeat多种日志类型接收

2、logstash设置解析规则

3、测试解析是否正常

4、默认kibana显示的时间为ES接收时间而不是日志时间

5、filebeat多行异常日志整合

---

前文搭建成功ELK日志分析平台，这里在其基础上进行部分细节的补充。

1、filebeat多种日志类型接收

#设置spider和tomcat两种日志类型接收，以log_type做标记，以便日后logstash进行不同的日志解析规则
[root@master filebeat]# vi /app/filebeat/filebeat-filter-redis.yml
filebeat.inputs:
- type: log
  enabled: true
  paths:
    - /data/filebeat/tomcat.log
  fields:
    log_type: tomcat
  fields_under_root: true
- type: log
  enabled: true
  paths:
    - /data/filebeat/spider.log
  fields:
    log_type: spider
  fields_under_root: true
output.redis:
  hosts: ["192.168.198.136"]
  key: "filebeat"
  db: 0
  timeout: 5

2、logstash设置解析规则

#Logstash中的filter可以支持对数据进行解析过滤。
#地址：https://www.elastic.co/guide/en/logstash/6.6/index.html

#logstash利用if判断针对tomcat和spider两种日志格式设置相应的解析方式
[root@master config]# vi redis-filter-es.conf
input{
  redis{
        host => "192.168.198.136"
        port => 6379
        data_type => "list"
        key => "filebeat"
}
}
filter{
  if[log_type] == "spider" {
  grok {
    #自定义-数字模板-格式(?<定义字段名称>正则表达式)
    match => {"message" =>

    "页面下载成功.url:\[(?<url>\S+)\].

    耗时\[(?<usetime>[0-9]+)\]毫秒.

    当前时间戳:\[(?<currenttime>[0-9]+)\]"}
}
  }
  else if[log_type] == "tomcat" {
  grok {
    #grok：支持120多种内置的表达式，这里tomcat解析规则就是直接使用内置的表达式进行解析
    #https://github.com/logstash-plugins/logstash-patterns-core/blob/master/patterns/grok-patterns
    match => {"message" => "%{COMMONAPACHELOG}"}
}
  }
      }
output{
  elasticsearch {
        hosts => "192.168.198.136:9200"
}
}

3、测试解析是否正常

#启动filebeat、redis、logstash、es、kibana
[root@master config]# nohup ~~~~ &

#清除之前index日志信息，以便kibana观察
查看es所有index列表  命令行：
curl -u elastic:123456  '192.168.20.210:9200/_cat/indices?v' 
删除index 
curl -u elastic:123456  -XDELETE '192.168.20.210:9200/logstash-2019*' 

#输入tomcat和spider类型日志，观察是否分别解析为自己对应的格式
echo "页面下载成功.url:[http://item.jd.com/15626278.html].耗时[1000]毫秒.当前时间戳:[1473056604523]" >> /data/filebeat/spider.log
echo '110.52.250.126 - - [30/May/2019:17:38:20 +0800] "GET /data/cache/style_1_forum_index.css?y7a HTTP/1.1" 200 2331' >> /data/filebeat/tomcat.log

#kibana发现两条日志，并各自按解析规则解析
例如：spider日志会解析出自定义usetime和currenttime字段，tomcat日志会解析出clientip等特有字段

4、默认kibana显示的时间为ES接收时间而不是日志时间

#导致我们无法判断日志具体产生时间，而且相应柱状图等也会集中于同一天显示，没有意义。

#logstash设置默认时间为日志自带的时间，配置文件添加如下
filter{
。。。。。
   date {
    match => [ "timestamp","dd/MMM/yyyy:HH:mm:ss Z" ]
    target => "@timestamp"
        }
     }

 

5、filebeat多行异常日志整合

#Filebeat multiline合并多行日志，有些日志是多行显示，但是filebeat会分解成多个日志对待例如下面错误日志
#日志格式：以时间开头的日志，都会合并在一起

#日志格式
2019-10-22 10:00:08,500 ERROR (ExceptionHandle.java:27)- Request method 'GET' not supported
org.springframework.web.HttpRequestMethodNotSupportedException: Request method 'GET' not supported
    at org.springframework.web.servlet.mvc.method.RequestMappingInfoHandlerMapping.handleNoMatch(RequestMappingInfoHandlerMapping.java:207)
    at org.springframework.web.servlet.handler.AbstractHandlerMethodMapping.lookupHandlerMethod(AbstractHandlerMethodMapping.java:374)
    at org.springframework.web.servlet.handler.AbstractHandlerMethodMapping.getHandlerInternal(AbstractHandlerMethodMapping.java:314)
    at org.springframework.web.servlet.handler.AbstractHandlerMethodMapping.getHandlerInternal(AbstractHandlerMethodMapping.java:61)

#配置方法
  multiline.pattern: '^\d{4}-\d{2}-\d{2}'
multiline.negate: true
multiline.match: after