【ELK】logstash multiple piplines 配置方式

#  在config/pipelines.yml里加入如下配置

 

- pipeline.id: my-pipeline_1
  path.config: "/etc/path/to/p1.config"
  pipeline.workers: 3
- pipeline.id: my-other-pipeline
  path.config: "/etc/different/path/p2.cfg"
  queue.type: persisted

 

# 使用注意事项

 

     1:  在没有参数的情况下启动logstash时，应用将读取pipelines.yml 并实例化文件中指定的所有管道，另一方面，当我们使用-e 或者 -f 启动logstash时，logstash会忽略pipelines.yml文件，并记录对此的警告。

     2：

• pipeline.id
  标识位，用于区分不同的pipeline。如果所有的conf配置文件都使用一个id的话，那么input数据流就会流进各个output中。从而导致所有index数据一致。
• path.config
  每一个不同id位的conf生效文件。绝对路径

        注: - pipeline.id中的"-"顶头配置才生效。

 

 

 

官方参考文档 ：https://www.elastic.co/guide/en/logstash/6.2/multiple-pipelines.html

                          中文：https://segmentfault.com/a/1190000016592277