logstash采集性能调优配置

jvm.options 配置内存大小优化 可根据服务器的性能进行配置

-Xms1g

-Xmx1g  可修改为2G

logstash.yml 优化参数配置  下面是8核16G的配置调优

1）、pipeline.workers
  该参数可控制output或filter插件的工作线程数（只能设置正整数），当发现事件正在备份或CPU没有饱和，则可以增加工作线程，以提高性能。

2）、pipeline.batch.size
  设置批量执行event的最大值，该值是用于input的批量处理事件值，再打包发送给filter和output，增加该值可以在一定范围内提高性能，但是需要增加额外的内存开销。

3）、pipeline.batch.delay
  批处理的最大等待值（input需要按照batch处理的最大值发送到消息队列，但是不能一直等，所以需要一个最大的超时机制）

pipeline.workers：8

pipeline.batch.size：2000

pipeline.batch.delay：10

pipeline.output.workers: 8

4）实际output 时的线程数

默认配置 ---> pipeline.output.workers: 1

可优化为 ---> pipeline.output.workers: 不超过pipeline 线程数