本文探讨了Kafka消费者实例的概念，通过实验验证了consumer_threads配置对Logstash进程的影响。一个Logstash进程可以有多个consumer_threads，每个线程被视为一个消费者实例。在一台机器上启动多个Logstash进程时，消费者实例的分配是随机的，可能造成部分实例未被使用。合理配置consumer_threads可以确保每个partition由一个特定的consumer实例消费。
官网(https://www.elastic.co/guide/en/logstash/current/plugins-inputs-kafka.html#plugins-inputs-kafka-consumer_threads)说的要consumer instance，也就是消费者实例，到底是指什么？是指一个logstash进程，还是指logstash中的consumer_threads中的线程数，几个consumer_threads就代表几个消费者实例？如果是后者的话，那在一台机器起多个logstash进程怎么算？我不知道大家是否跟我有一样的疑问？为了回答我自己的疑问，我自己试了一下
测试条件：Kafka集群部署在137/138/139 三台机器上，logstash 部署在另外一台机器91上
Round-1:
Logstash进程数为1，每个logstash的consumer_threads 为1
启动一个logstash进程之后，观察进程数，如下：
最低0.47元/天 解锁文章
扫一扫
811
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
