ELK日志分析平台

获取Web日志

1. 概述

目标：数显Web日志实时分析

如何收集日志？

 

-- 通过网络收集日志：

-- beats插件概述：

 

 2. 修改Logstash配置

使用logstash配置日志接收服务器

 3. Filebeat安装配置在web-0001

配置开机自起动

 修改配置文件/etc/filebeat/filebeat.yml

 启动服务，验证日志是否能发送到logstash

 然后在logstash的终端就能看到日志数据

4. 添加多日志标签

用以匹配系统的多种日志类型

logstash中基于标签配置不同规则： 

在web-0001访问网站，可以在logstash终端看到下面信息：

 批量安装部署

1. 编写playbook，使用ansible自动化批量部署

使用web-0001的配置文件作为模板文件：

 

执行：ansible-playbook filebeat.yml

部署Kibana

1. 集群架构

2. 购买云主机

主机名	IP	配置
kibana	192.168.1.26	最低配置2核4G

3.  添加监控器

登录华为云-->控制台-->添加监控器

 监听端口5601

添加kibana云服务器  

4. 安装kibana 

 配置：

5. 流量数据分析

访问http://139.9.62.233:5601/

需要确保elasticsearch有索引weblog-xxxxx，上图才能搜索出来：

 添加完成后点击：

访问http://139.9.62.233/，多次点击刷新或者其他方式访问后

在下面页面点击刷新，即可实时更新流量数据可视化

补充：

Kibana支持种类繁多的流量分析格式，可以自行探索