Docker实战（十一）：Docker安装ELK环境（二）

最新推荐文章于 2024-09-29 16:19:51 发布

birdben

最新推荐文章于 2024-09-29 16:19:51 发布

阅读量7.6k

点赞数

分类专栏： Docker 文章标签： Docker ELK 日志收集

本文链接：https://blog.csdn.net/birdben/article/details/50480230

版权

本文详细介绍了如何使用Docker搭建ELK（Elasticsearch, Logstash, Kibana）日志收集系统，包括Nginx日志的Logstash agent配置、Redis中间件、Logstash indexer的日志解析和Elasticsearch存储，以及Kibana的数据可视化。通过Dockerfile和supervisord.conf文件，分别展示了各组件的配置和运行终端。" 50880575,5108483,贪心算法解决翻硬币游戏,"['算法', '贪心', '逻辑思维', '问题解决']

摘要由CSDN通过智能技术生成

Docker安装ELK环境（二）

日志收集系统架构

日志收集系统架构简介

Logstash Agent/Flume：采集各个业务系统的日志，然后发送给Redis/Kafka消息队列。
Redis/Kafka：接收用户日志的消息队列，临时存储日志并且起到缓冲的作用，防止日志量上来之后，拖垮Logstash Indexer。
Logstash Indexer：做日志解析，统一成JSON输出给Elasticsearch。
Elasticsearch：实时日志分析服务的核心技术，一个schemaless，实时的数据存储服务，通过index组织数据，兼具强大的搜索和统计功能。
Kibana：基于Elasticsearch的数据可视化组件，超强的数据可视化能力是众多公司选择ELK stack的重要原因。

这里实现的是 ELK + Redis 收集 Nginx 的 access.log
我们这里是把各个组件拆开，模拟每个组件是一个集群，每个集群部署在一台机器上

1.Nginx + Logstash agent
2.Redis
3.Logstash indexer
4.ElasticSearch
5.Kibana

Nginx配置文件

daemon off;
master_process off;
error_log  logs/error.log;

...

http {
    include       mime.types;
    default_type  application/octet-stream;

    # 设置nginx日志格式，格式的名称logstash
    log_format  logstash  '$http_host $server_addr $remote_addr [$time_local] "$request" $request_body $status $body_bytes_sent "$http_referer" "$http_user_agent" $request_time $upstream_response_time';

    # 设置access_log日志输出的文件路径，以及使用的日志格式名称
    access_log  logs/access.log  logstash;

    # 以下内容省略
    ...
}

logstash agent的配置文件logstash.conf

input {
        file {
                type => "nginx_access"
                path => ["/usr/local/nginx/logs/access.log"]
        }
}
output {
        redis {
                host => "10.211.55.4"
                port => 6379
                password => admin
                data_type => "list"
                key => "logstash:redis"
        }
}