docker容器日志收集方案(方案四,目前使用的方案)

先看数据流图,然后一一给大家解释

 

这个方案是将日志直接从应用代码中将日志输出到redis中(注意,是应用直接连接redis进行日志输出),redis充当一个缓存中间件有一定的缓存能力,不过有限,因为使用的是内存,内存使用完了就会出现阻塞失败等现象从而导致日志丢失。

接下来logstash从redis中读取日志然后批量推送ES,logstash有一定的堆积能力,可以控制线程以及批量推送ES日志数量,不过不会像filebeat有感知压力的功能。

微服务应用对redis的链接为弱引用,成功失败都无所谓。

这个方案中中间任意环节出问题都会导致日志输出问题。

而且可能会造成redis-logstash-ES整个链路瘫痪

因为redis和logstash堆积能力实在有限,如果将中间链路环节使用其他中间件会好的多。

这个方案的优点就是在logback.xml文件配置好之后什么都不用管,直接去查日志就可以了,性能跟得上redis2GB内存1天处理1.5亿条日志没问题。

转载于:https://www.cnblogs.com/zhyg/p/10006739.html

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值