日志收集（nginx+filebeat +redis+logstash+elasticsearch+kibana）

最新推荐文章于 2024-01-11 15:09:31 发布

原创

最新推荐文章于 2024-01-11 15:09:31 发布 · 6.5k 阅读

0 ·

CC 4.0 BY-SA版权

文章标签：

#linux #centos #安全

本文介绍如何通过filebeat收集Nginx的日志，并将其格式化为JSON存储到Redis中，再由Logstash读取并转发至Elasticsearch进行分析。包括配置Nginx日志格式、filebeat及Logstash等关键步骤。

日是收集redis作为存储

1. redis的安装
2. 配置nginx的日志格式json
3. filebeat的配置文件
4. logstash的配置
5 filebeat收集日志写入到一个key中

整体的架构图
在这里插入图片描述

说明：该架构不论后边的日志收集损坏了，也不会影响nginx服务的正常使用

1. redis的安装

yum -y install redis

systemctl start redis

测试

redis-cli

[root@yw7 elk]# redis-cli
127.0.0.1:6379> set k1 v1
OK
127.0.0.1:6379> get k1
"v1"
127.0.0.1:6379>

2. 配置nginx的日志格式json

vim  /etc/nginx/nginx.conf

 log_format json  '{ "time_local": "$time_local", '
                           '"remote_addr": "$remote_addr", '
                           '"referer": "$http_referer", '
                           '"request": "$request", '
                           '"status": $status, '
                           '"bytes": $body_bytes_sent, '
                           '"agent": "$http_user_agent", '
                           '"x_forwarded": "$http_x_forwarded_for", '
                           '"up_addr": "$upstream_addr",'
                           '"up_host": "$upstream_http_host",'
                           '"upstream_time": "$upstream_response_time",'
                           '"request_time": "$request_time"'
    ' }';

    access_log  /var/log/nginx/access.log  json;