使用ELK收集、存储、监控Nginx的日志信息

1.场景

使用ELK生态栈对Nginx的日志信息进行解析、存储，并根据解析后的数据进行监控，如果日志信息有异常，会通过自定义配置的告警服务进行告警。

2.架构

nginx ==> filebeat ==> kafka==> logstash ==> ES ==> Kibana
 

filebeat：只是收集客户端（能干的很少）
kafka：缓冲，削峰（测试阶段没有选择使用）
logstash：解析日志字段（grok表达式）

版本选择：7.4.2  

3. nginx日志格式

 /data/app/log/access.log

192.168.10.132 - - [08/Jul/2019:12:53:45 +0800] "GET /saudgsg/bujguj HTTP/1.0" 200 1201 "-" "ApacheBench/2.3" "-"
192.168.10.1 - - [08/Jul/2019:12:54:36 +0800] "GET /indexfsd HTTP/1.1" 200 1201 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0" "-"
192.168.10.1 - - [08/Jul/2019:12:54:36 +0800] "GET /favicon.ico HTTP/