公司的KafKa+Logstash+Elasticsearch日志收集系统的吞吐量存在问题,logstash的消费速度跟不上,造成数据堆积;
三者的版本分别是:0.8.2.1、1.5.3、1.4.0
数据从KafKa中消费,采用的是logstash-input-kafka插件,输出到Elasticsearch中采用的是logstash-output-Elasticsearch插件。
对于两个插件分别进行了一定的配置,参照了下面的博客:点击打开链接
但是问题并没有得到解决,消费的速度没有什么提升,或者说提升很小,还有数据堆积。考虑到使用的logstash版本以及插件的版本比较低,所以进行了版本升级: