1.场景
使用ELK生态栈对Nginx的日志信息进行解析、存储,并根据解析后的数据进行监控,如果日志信息有异常,会通过自定义配置的告警服务进行告警。
2.架构
nginx ==> filebeat ==> kafka==> logstash ==> ES ==> Kibana
filebeat:只是收集客户端(能干的很少)
kafka:缓冲,削峰(测试阶段没有选择使用)
logstash:解析日志字段(grok表达式)
版本选择:7.4.2
3. nginx日志格式
/data/app/log/access.log
192.168.10.132 - - [08/Jul/2019:12:53:45 +0800] "GET /saudgsg/bujguj HTTP/1.0" 200 1201 "-" "ApacheBench/2.3" "-"
192.168.10.1 - - [08/Jul/2019:12:54:36 +0800] "GET /indexfsd HTTP/1.1" 200 1201 "-" "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36 SE 2.X MetaSr 1.0" "-"
192.168.10.1 - - [08/Jul/2019:12:54:36 +0800] "GET /favicon.ico HTTP/