ES + Logstash 优化

Logstash优化

Logstash 优化点

filebeat-> logstash tcp连接 (目前 非瓶颈)

单台logstash 节点至少可以支撑上100台filebeat节点的tcp连连接请求

网络带宽： 1000Mb

logstash-> es tcp连接 (目前 非瓶颈)

仅单节点传输

内网带宽不是瓶颈

logstash input (目前 非瓶颈）

接收filebeat推送日志，接收量由filter,output协同决定。

logstash filter & logstash output ( 瓶颈)

增大 filter和output worker 数量

ogstash正则解析极其消耗计算资源，而我们的业务要求大量的正则解析，因此filter是我们的瓶