生产-消费模型组件实现 Producer Consumer Solution using BlockingQueue
原来各个应用某些业务节点的日志通过filebeat+elk收集,供各个业务方使用,线上发现filebeat消耗非常大的硬件资源,而且应用集群较大,每次新增日志类型时需要新增filebeat配置并启动新的应用进程,较为繁琐和耗服务器资源;
优化成通过kafka收集日志,consumer消费并写入es,考虑到频繁的写入es会造成应用资源、网络开销的浪费,设计上为批量写入es。该应用场景比较通用,考虑把该生产-消费模型
抽成组件放入公共模块。
组件设计细节
使用方自定义业务属性;
使用方自定义写入阈值
业务方实
原创
2021-06-09 16:07:05 ·
208 阅读 ·
0 评论