kafka consumer频繁reblance

转载请注明地址http://www.cnblogs.com/dongxiao-yang/p/5417956.html

 

结论与下文相同,kafka不同topic的consumer如果用的groupid名字一样的情况下,其中任意一个topic的consumer重新上下线都会造成剩余所有的consumer产生reblance行为

,即使大家不是同一个topic,这主要是由于kafka官方支持一个consumer同时消费多个topic的情况,所以在zk上一个consumer出问题后zk是直接把group下面所有的consumer都通知一遍,这个与以前观念里认为group从属于某一个topic的概念完全不同,非常坑。

https://olnrao.wordpress.com/2015/05/15/apache-kafka-case-of-mysterious-rebalances/

转载于:https://www.cnblogs.com/dongxiao-yang/p/5417956.html

  • 0
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要创建一个Kafka Consumer,需要执行以下步骤: 1. 导入所需的 Kafka 相关库,如 kafka-clients 和 slf4j。 2. 配置 Consumer 的属性,例如 Kafka 服务器的地址、Consumer 组 ID、是否自动提交偏移量等。 3. 创建一个 KafkaConsumer 实例,将上一步中的属性传递给它。 4. 订阅一个或多个主题,使用 KafkaConsumer 的 subscribe() 方法。 5. 循环从 Consumer 中拉取消息,使用 KafkaConsumer 的 poll() 方法。 6. 处理从 Kafka 中拉取的消息。 下面是一个基本的 Kafka Consumer 的示例代码: ```java import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.clients.consumer.KafkaConsumer; import org.apache.kafka.common.serialization.StringDeserializer; import java.util.Collections; import java.util.Properties; public class MyKafkaConsumer { public static void main(String[] args) { // 配置 Consumer 的属性 Properties props = new Properties(); props.setProperty("bootstrap.servers", "localhost:9092"); props.setProperty("group.id", "my-group"); props.setProperty("enable.auto.commit", "true"); props.setProperty("auto.commit.interval.ms", "1000"); props.setProperty("key.deserializer", StringDeserializer.class.getName()); props.setProperty("value.deserializer", StringDeserializer.class.getName()); // 创建 KafkaConsumer 实例 KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props); // 订阅一个主题 consumer.subscribe(Collections.singletonList("my-topic")); // 循环从 Consumer 中拉取消息 while (true) { ConsumerRecords<String, String> records = consumer.poll(100); // 处理从 Kafka 中拉取的消息 for (ConsumerRecord<String, String> record : records) { System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value()); } } } } ``` 注意,这只是一个基本的示例,实际使用中还需要考虑更多的细节和配置。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值