logstash 默认内存_Logstash性能优化

Logstash性能优化：

场景：

部署节点配置极其牛逼(三台 48核 256G内存 万兆网卡的机器)，ES性能未达到瓶颈，而filebeat又有源源不断的日志在推送(日志堆积)，此时却发现ES吞吐量怎么也上不去，基本卡在单logstash 7000/s 的吞吐。

这时候我们基本确定瓶颈在logstash上。logstash部署在服务端，主要处理接收filebeat(部署在节点机)推送的日志，对其进行正则解析，并将结构化日志传送给ES存储。对于每一行日志进行正则解析，需要耗费极大的计算资源。而节点CPU负载恰巧又不高，这个时候我们就要想办法拓宽logstash的pipeline了，毕竟我们一天要收集18亿条日志。

ELFK部署架构图如下所示：

影响logstash性能因素如下：

logstash是一个pipeline，数据流从input进来，在filter进行正则解析，然后通过output传输给ES。

1. filebeat->logstash tcp连接
2. logstash->es tcp连接
3. logstash input
4. logstash filter
5. logstash output

filebeat-> logstash tcp连接 (目前 非瓶颈)

1. TCP