日志分析架构

本文介绍了日志分析的常见架构,包括基础的ELK架构、引入消息队列、Logstash-Forwarder和Beats系列。重点讨论了各自的优缺点和适用场景。作者分享了自己的日志分析架构V1.0和V2.0,涉及Nginx日志、Kafka、Logstash、ES、Kibana以及Python ElasticSearch模块,用于可疑IP的检测、封禁和解封。架构V2.0则增加了对多种日志源的支持和离线、准实时分析功能。
摘要由CSDN通过智能技术生成

日志分析常见架构

备注:本小节非原创,原文地址在参考资料中

基础的ELK架构

elk_architecture_1

  • 优点:搭建简易、易于上手。
  • 缺点:Logstash消耗资源大,运行占用CPU和内存高,没有消息队列缓存,容易出现数据丢失隐患。
  • 应用场景:适用小规模集群方案。PHP大马

引入消息队列的架构

elk_architecture_2

  • 优点:引入消息队列机制,均衡了网络传输,从而降低了网络闭塞尤其是数据丢失的可能性。
  • 缺点:依然存储Logstash占用系统资源过多的问题。
  • 应用场景:适用较大的集群方案。

引入Logstash-Forwarder架构

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值