监控日志loging elastIcsearch（六）

最新推荐文章于 2024-08-24 02:29:19 发布

weixin_35688430

最新推荐文章于 2024-08-24 02:29:19 发布

阅读量248

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/weixin_35688430/article/details/108536034

版权

本文介绍了如何利用logstash结合filebeat通过kafka来收集系统和nginx日志，并在Kibana中进行数据分析。步骤包括filebeat的安装配置、日志发送到kafka、在Kibana中创建索引和可视化仪表盘，以实现IP访问、PV、全球访问图、实时流量、操作系统和登录次数等关键指标的监控。

摘要由CSDN通过智能技术生成

logstash结合filebeat经过kafka收集系统及nginx日志

架构图

在这里插入图片描述

一、Beats 轻量型数据采集器

Beats
平台集合了多种单一用途数据采集器。这些采集器安装后可用作轻量型代理，从成百上千或成千上万台机器向
Logstash 或 Elasticsearch 发送数据。

官方文档地址

https://www.elastic.co/guide/en/beats/filebeat/7.x/index.html

官方下载地址：

https://www.elastic.co/cn/downloads/past-releases#filebeat

1、官网下载安装filebeat包

  yum install filebeat-7.3.1-x86_64.rpm -y

2、修改filebeat配置文件，将filebeat收集的日志存放在kafka中

[root@filebate tmp]# vim /etc/filebeat/filebeat.yml

filebeat.inputs: 
 type: log   
 enabled: true     ##打开此处 
   - "/application/nginx/logs/www_access.log" 
 fields: 
   host: "172.17.105.78" 
   type: "nginxlog01" 
   app: "nginxlog01"  
-------------------------- Elasticsearch output ------------------------------ 
此处默认打开需要注销
#output.elasticsearch:
  # Array of hosts to connect to.
#  hosts: ["kafka01:9200"]

  # Optional protocol and basic auth credentials.
  #prot