ELK 7.5.0（八）ELK+Filebeat采集Json日志

最新推荐文章于 2023-04-04 16:20:01 发布

友人a笔记

最新推荐文章于 2023-04-04 16:20:01 发布

阅读量601

点赞数

分类专栏： # ELK 文章标签： json Filebeat 日志格式

本文为博主原创文章，未经博主允许不得转载。如有疑问，请在该文章中留言联系博主，谢谢！！

本文链接：https://blog.csdn.net/tladagio/article/details/103422772

版权

本文介绍了如何在ELK 7.5.0环境下，通过Filebeat采集Nginx的Json格式日志，并使用Logstash进行解析，以减轻服务器压力并提高日志处理效率。步骤包括实验环境搭建、ELK组件安装、Nginx配置Json日志、Filebeat配置修改以及Logstash配置和日志展示。

摘要由CSDN通过智能技术生成

一、实验环境

主机名        IP
es        192.168.14.210
kibana    192.168.14.210
logstash  192.168.14.211
Filebeat  192.168.14.213
nginx     192.168.14.213

二、安装部署（内容比较多，已经分开写）

1、ELK（elasticsearch+logstash+kibana）

具体查看第二、三、四章节

2、Filebeat安装

具体查看第六章节

三、Nginx使用json格式日志

json的好处：

客户端原生日志需要Logstash做正则匹配，比较麻烦，也会消耗系统资源；
客户端设置Json格式的日志不需要Logstash正则分析，就能直接分段采集，减少服务器压力。

1、nginx配置文件添加Json日志格式

[root@filebeat ~]# vi /usr/local/nginx/conf/nginx.conf
    log_format json '{"@timestamp":"$time_iso8601",'
                    '"clientip":"$remote_addr",'
                    '"status":$status,'
                    '"bodysize":$body_bytes_sent,'
                    '"referer":"$http_