logstash 同时支持多个管道_Logstash Multiple Pipelines

作为生产者和消费者之间数据流的一个中心组件，需要一个 Logstash 实例负责驱动多个并行事件流的情况。默认情况下，这样的使用场景的配置让人并不太开心，使用者会遭遇所谓的条件地狱(Conditional hell)。因为每个单独的 Logstash 实例默认支持一个管道，该管道由一个输入、若干个过滤器和一个输出组成，如果要处理多个数据流，就要到处使用条件判断。

条件地狱(Conditional hell)

已知的在一个管道中实现多个独立流的方法是使用条件判断。主要方式是在输入部分通过标签标记事件，然后在过滤器中和输出阶段创建条件分支，对贴有不同标签的事件，应用不同的插件集。这种方式虽然可以解决问题，但在实际的使用中却非常的痛苦！下面是一个简单的 demo 片段：

input {

beats { port=> 3444 tag =>apache }

tcp { port=> 4222 tag =>firewall }

}

filter {if "apache" in[tags] {

dissect { ... }

}else if "firewall" in[tags] {

grok { ... }

}

}

output {if "apache" in[tags] {

elasticsearch { ... }

}else if "firewall" in[tags] {

tcp { ... }

}

}

<