java卡夫卡_java – 如何在卡夫卡使用多个消费者？

我是一个学习卡夫卡的新学生,我遇到了一些根本问题,了解多个消费者,文章,文档等迄今为止没有太大的帮助.

我试图做的一件事是写我自己的高级卡夫卡生产者和消费者,并同时运行,发布100个简单的消息到一个话题,让我的消费者检索它们.我成功地设法做到这一点,但是当我尝试引入第二个消费者从同一主题消息发布到消息时,它不会收到消息.

我的理解是,对于每个主题,您可以让来自不同消费者群体的消费者,并且每个消费者群体都将获得对某个主题产生的消息的完整副本.它是否正确？如果没有,我建立多个消费者的适当方式是什么？这是我迄今为止写的消费类：

public class AlternateConsumer extends Thread {

private final KafkaConsumer consumer;

private final String topic;

private final Boolean isAsync = false;

public AlternateConsumer(String topic, String consumerGroup) {

Properties properties = new Properties();

properties.put("bootstrap.servers", "localhost:9092");

properties.put("group.id", consumerGroup);

properties.put("partition.assignment.strategy", "roundrobin");

properties.put("enable.auto.commit", "true");

properties.put("auto.commit.interval.ms", "1000");

properties.put("session.timeout.ms", "30000");

properties.put("key.deserializer", "org.apache.kafka.common.serialization.IntegerDeserializer");

properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer");

consumer = new KafkaConsumer(properties);

consumer.subscribe(topic);

this.topic = topic;

}

public void run() {

while (true) {

ConsumerRecords records = consumer.poll(0);

for (ConsumerRecord record : records) {

System.out.println("We received message: " + record.value() + " from topic: " + record.topic());

}

}

}

}

此外,我注意到,最初我只用一个分区来测试上述消耗的主题“测试”.当我向现有的消费者群体添加另一个消费者称为“testGroup”时,这引发了卡夫卡的重新平衡,这样可以在几秒钟的时间内将我的消费延迟大幅度减缓.我认为这是一个重新平衡的问题,因为我只有一个分区,但是当我创建一个新的主题“多分区”与6分区,类似的问题出现,添加更多的消费者到同一消费者组导致延迟问题.我周围环顾四周,人们告诉我,我应该使用多线程的消费者 – 任何人都可以看清楚吗？