利用 ELK系统分析Nginx日志并对数据进行可视化展示-CSDN博客

本文链接：https://blog.csdn.net/op07p6Aaqo9u71/article/details/78794659

本文详细介绍了如何配置Logstash、Elasticsearch和Kibana，以实现Nginx日志的收集、分析和前端的可视化展示。通过Logstash的输入、过滤和输出插件，对Nginx日志进行结构化处理，然后利用Elasticsearch存储数据，最后通过Kibana进行数据可视化。文章还涉及到了HTTP基本认证和nginx代理设置。

摘要由CSDN通过智能技术生成

大数据

作者：飞走不可

一、写在前面

结合之前写的一篇文章：Centos7 之安装Logstash ELK stack 日志管理系统，上篇文章主要讲了监控软件的作用以及部署方法。而这篇文章介绍的是单独监控nginx 日志分析再进行可视化图形展示，并在用户前端使用nginx 来代理kibana的请求响应，访问权限方面暂时使用HTTP 基本认证加密用户登录。（关于elk权限控制，我所了解的还有一种方式－Shield），等以后有时间了去搞下。下面开始正文吧。。。

_{注意：环境默认和上一篇大致一样，默认安装好了E、L、K、3个软件即可。当然了，还有必需的java环境JDK}

开始之前，请允许我插入一张图，来自线上我的测试图：（如果有需要的童鞋，可以私信我，我可以把登录帐号给你。。）

备注：由于阿里云主机已经删除，无法提供试看了哈。

大数据

nginx日志文件其中一行：

218.75.177.193 - - [03/Sep/2016:03:34:06 +0800] "POST /newRelease/everyoneLearnAjax HTTP/1.1" 200 370 "http://www.xxxxx.com/" 
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/52.0.2743.116 Safari/537.36" "36.22.6.130"

nginx 服务器日志的log_format格式：

log_format  main  '$remote_addr - $remote_user [$time_local] "$request" '
                      '$status $body_bytes_sent "$http_referer" '
                      '"$http_user_agent" "$http_x_forwarded_for"';

二、配置logstash

1.修改配置文件，/etc/logstash/conf.d下。创建一个新的配置文件，内容如下:

View Code

文件内容大致解释：

_{Logstash 分为 Input、Output、Filter、Codec 等多种plugins。}
_{Input：数据的输入源也支持多种插件，如elk官网的beats、file、graphite、http、kafka、redis、exec等等等、、、}
_{Output：数据的输出目的也支持多种插件，如本文的elasticsearch，当然这可能也是最常用的一种输出。以及exec、stdout终端、graphite、http、zabbix、nagios、redmine等等、、、}
_{Filter：使用过滤器根据日志事件的特征，对数据事件进行处理过滤后，在输出。支持grok、date、geoip、mutate、ruby、json、kv、csv、checksum、dns、drop、xml等等、、}
_{Codec：编码插件，改变事件数据的表示方式，它可以作为对输入或输出运行该过滤。和其它产品结合，如rubydebug、graphite、fluent、nmap等等。}
_{具体以上插件的细节可以去官网，介绍的挺详细的。下面说下该篇中的配置文件的含义：}

_{来源：飞走不可－原文http://www.cnblogs.com/hanyifeng/p/5857875.html}

_input段：
_{file：使用file 作为输入源}
_{path：日志的路径，支持/var/log*.log，及[ “/var/log/messages”, “/var/log/*.log” ] 格式}
_{start_position: 从文件的开始读取事件。另外还有end参数}
_{ignore_older: 忽略早于24小时（默认值86400）的日志，设为0，即关闭该功能，以防止文件中的事件由于是早期的被logstas}