logstash 吞吐量优化_logstash吞吐率优化

问题一

最近发现kibana的日志传的很慢，常常查不到日志，由于所有的日志收集都只传输到了一个logstash进行收集和过滤，于是怀疑是否是由于logstash的吞吐量存在瓶颈。一看，还真是到了瓶颈。

优化过程

经过查询logstash完整配置文件，有几个参数需要调整

1

2

3

4

5

6

7

8# pipeline线程数，官方建议是等于CPU内核数

pipeline.workers: 24

# 实际output时的线程数

pipeline.output.workers: 24

# 每次发送的事件数

pipeline.batch.size: 3000

# 发送延时

pipeline.batch.delay: 5

PS:由于我们的ES集群数据量较大(>28T)，所以具体配置数值视自身生产环境

优化结果

ES的吞吐由每秒9817/s提升到41183/s,具体可以通过x-pack的monitor查看。

问题二

在查看logstash日志过程中，我们看到了大量的以下报错

1

2[2017-03-18T09:46:21,043][INFO][logstash.outputs.elasticsearch] retrying failed action with response code: 429 ({"type"=>"es_rejected_execution_exception", "reason"=>"rejected execution of org.elas