kafka多分区只有一个在消费_kafka多个消费者只有一个消费

使用goalng “github.com/Shopify/sarama”这个库我现在有两个消费者,两个topic,kafka分区设定是50个,但是在实际运行过程中只有一个消费者在消费,关闭当前能消费的消费者,另外一个也可以消费,但是同时运行是就不行看网上的文档说的是因为分区不够的原因,但是我现在设定了50个分区,只有两个消费者代码1producerConfig := sarama.NewC...
摘要由CSDN通过智能技术生成

使用goalng “github.com/Shopify/sarama”这个库

我现在有两个消费者,两个topic,kafka分区设定是50个,但是在实际运行过程中只有一个消费者在消费,关闭当前能消费的消费者,另外一个也可以消费,但是同时运行是就不行

看网上的文档说的是因为分区不够的原因,但是我现在设定了50个分区,只有两个消费者

代码1

producerConfig := sarama.NewConfig()

producerConfig.Producer.Partitioner = sarama.NewHashPartitioner

producerConfig.Producer.Return.Successes = true

producerConfig.Producer.Timeout = 5 * time.Second

producer, err = sarama.NewSyncProducer([broker实例地址], producerConfig)

kafka_msg := &sarama.ProducerMessage{

Topic:topic,

Key:sarama.StringEncoder(key),

Value: sarama.StringEncoder(value),

}

partition, offset, err := producer.SendMessage(kafka_msg)

这样,投递成功之后返回的分区id永远是0,我怀疑是不是因为我分区设置值没有生效,

,但是因为是第一次用kafka,所以不确定,

于是使用下一个

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值