使用Shopify/sarama消费kafka,修改topic的partition,触发rebanlance失败

最新推荐文章于 2024-05-11 14:33:43 发布
最新推荐文章于 2024-05-11 14:33:43 发布
阅读量1.9k 收藏
点赞数
分类专栏： 代码生涯 文章标签： kafka 分布式 zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chenzhuyu/article/details/123113711
版权

现状

  1. 一台机器上多线程消费topic,差不多一个partition一个consumer
  2. 增加topic的partition触发了rebanlance,但并没有开始消费新的partition
  3. Shopify/sarama版本为1.13.1
  4. kafka版0.10.2

问题查找

  1. v1.24.1以下版本不会rebanlance
  2. 修复后理论上会rebanlance
  3. bsm/sarama-cluster不再更新,别使用

https://github.com/Shopify/sarama/pull/1525

原因

  1. 版本为0.10.2 <-不确定是否为该问题,但可以忽略
  2. kafka中的客户端ID相同,即每个线程的consumer使用默认ClientID,且IP地址相同

解决方法

  1. 配置ClientID且保证不同线程consumer不相同
  2. clusterCfg.ClientID = fmt.Sprintf("%s_%s", ConsumerId, uuid.New().String())
chenzhuyu
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【kafka】kafka 指定分区消费 不会触发 reblance
九师兄
12-01 476
1.概述 今天在博客：Kafka-消费,Offset手动提交,指定offset消费,指定分区消费 中看到这个 kafka 指定分区消费 不会触发 reblance。 指定一个主题的某些分区消费,不会触发rebalance. 假如下面例子 [main] INFO org.apache.kafka.common.utils.AppInfoParser - Kafka version : 2.1.0 [main] INFO org.apache.kafka.common.utils.AppInfoParser
【GoCN酷Go推荐】Shopify 出品的完整度最完善的 Kafka 客户端_sarama
Go中国
06-21 1083
1. sarama 是什么？sarama 的出现意味着，golang 有完整的 apache kafka 客户端文档的全部用例了2. 为什么那么受欢迎？他完整，兼容性好不需要 CGO 的支...
聊聊 Kafka：如何避免消费组的 Rebalance
riemann_的博客
01-16 5761
一、前言 我们上一篇聊了 Rebalance 机制，相信你对消费组的重平衡有个整体的认识。这里再简单回顾一下，Rebalance 就是让一个 Consumer Group 下所有的 Consumer 实例就如何消费订阅主题的所有分区达成共识的过程。在 Rebalance 过程中，Consumer Group 下所有的 Consumer 实例共同参与，在 Coordinator 协调者组件的帮助下，完成订阅主题分区的分配。但是，在整个过程中，所有实例都不能消费任何消息，因此它对 Consumer 的 TPS
Go: 操作kafka包sarama
最新发布
Big_YiFeng的博客
05-11 381
sarama 是一个纯 Go 客户端库，用于处理 Apache Kafka（0.8 及更高版本）。它包括一个用于轻松生成和使用消息的高级 API，以及一个用于在高级 API 不足时控制线路上的字节的低级 API。在github上stars上比较多（推荐）。
golang kafka sarama 消费者组
01-20
之前用kafka，没在网上找到关于 sarama消费者组的代码。后来才在源码里面找到例子，现在稍微修改了下代码，记录一下。 package main import ( context github.com/Shopify/sarama log github.com/sirupsen/logrus os os/signal sync syscall time ) type Kafka struct { brokers []string topics []string //OffsetNewest int64 = -1 //OffsetO
kafka一直rebalance故障，重复消费
weixin_30907523的博客
12-05 1779
今天我司线上kafka消息代理出现错误日志，异常rebalance，而且平均间隔2到3分钟就会rebalance一次，分析日志发现比较严重。错误日志如下 08-09 11:01:11 131 pool-7-thread-3 ERROR [] - commit failed org.apache.kafka.clients.consumer.CommitFailedExce...
golang kafka Shopify/sarama 消费者重置新增分区偏移量并进行重新消费
Enjun97的博客
03-14 1955
在重平衡回调方法中使用redis的无序集合储存当前主题、当前消费者组下的全部分区信息，然后在根据当前消费者会话去和上一代的全部分区信息进行差集对比，对比的结果就是新增的分区。得到新增的分区后将这些分区的偏移量重置为0即重头开始消费，当前存在重复消费的情况，需要你的业务逻辑上做好幂等性。最后再将这些差集新增分区ID更新至redis存储的当前主题、当前消费者组下的全部分区信息内形成了一个闭环，即使一个消费者组下有多个消费者进程也不会出现数据覆盖更新等问题，因为如果存在差集新增分区只会将更新差集分区ID。
探索Sarama：Shopify的Kafka客户端库
gitblog_00067的博客
03-19 369
探索Sarama：Shopify的Kafka客户端库 项目地址:https://gitcode.com/Shopify/sarama 项目简介 Sarama 是 Shopify 开源的一个强大的 Go 语言编写的 Apache Kafka 客户端库。它旨在提供全面的功能集，同时保持高度的性能和稳定性，让开发人员能够轻松地在他们的应用程序中集成和处理 Kafka 消息。 技术分析 功能特性 全面的...
kafka多分区只有一个在消费_kafka多个消费者只有一个消费
weixin_39956009的博客
12-19 820
使用goalng “github.com/Shopify/sarama”这个库我现在有两个消费者，两个topic,kafka分区设定是50个，但是在实际运行过程中只有一个消费者在消费，关闭当前能消费的消费者，另外一个也可以消费，但是同时运行是就不行看网上的文档说的是因为分区不够的原因，但是我现在设定了50个分区，只有两个消费者代码1producerConfig := sarama.NewC...
kafka sarama 锁定一个实例和对应的分区的方法和例子代码
gzg1984的博客
09-16 761
kafka在go语言上最常用的库是sarama， sarama默认的策略无法解决这样的场景： 我想要绑定一个消费者到某个partition，无论这个消费者程序是挂了还是活着，其他同组的消费者都不能消费这个partition里的数据。而这个绑定的消费者也同样，无论同消费组的其他消费者是死还是活，都不回把其他partition的数据推送到这个消费者上。 实际运营中的使用场景，就是一个大型系统里，我有自己的一套调度管理机制，有一套自己的挂死拉起和扩容、缩容能力，那么我再使用kafka的机制，反而可能导致整个体系里
sarama kafka消费问题记录
ThatWeKnow
11-16 1579
发现lag不会同步要隔很长一段时间或者量到一定才会同步。发现是没有途中那个同步偏移量的操作，然后消费的时候没有，session不知道groupid。 加入这一行重新启动拉取最新的偏移量，但是其实业务里面已经消费过了。所以功能上是没有问题的。 问题： 为什么没有同步偏移量，消息消费的时候没有一直重复拉取旧的消息重复消费。 ...
第6章 Rebalance详解
留不住斜阳的博客
05-31 3140
kafka rebalance详解
8、关于Coordinator
chinve2599的博客
08-30 1877
参考链接：https://www.jianshu.com/p/f01f5f0309a9 一、旧版本Scala消费者客户端的缺陷 在kafka0.9及以前版本的consumer会在zookeeper上/consumers/groupId/ids、/consumers/groupId/topic...
【Kafka】Kafka的重复消费和消息丢失问题
热门推荐
时光、疏离了记忆づ童话的博客
11-29 1万+
在Kafka中，生产者（Producer）和消费者（Consumer）是通过发布订阅模式进行协作的，生产者将消息发送到Kafka集群，而消费者从Kafka集群中拉取消息进行消费，无论是生产者发送消息到Kafka集群还是消费者从Kafka集群中拉取消息进行消费，都是容易出现问题的，比较典型的就是消费端的重复消费问题、生产端和消费端产生的消息丢失问题。下面将对这两个问题出现的场景以及常见的解决方案进行讲解。
【Kafka】Kafka的Rebalance机制可能造成的影响及解决方案
qwertyuiopasdfghjklzxcvbnm
05-25 3539
一、kafka的rebalance机制在Kafka中，当有新消费者加入或者订阅的Topic数发生变化时，会触发Rebalance(再均衡：在同一个消费者组当中，分区的所有权从一个消费者转移到另外一个消费者)机制，Rebalance顾名思义就是重新均衡消费者消费。Rebalance的过程如下： 第一步：所有消费成员都向Coordinator发送请求，请求入Consumer Group。一旦所有成员都发送了请求，Coordinator会从中选择一个Consumer担任Leader的角色，并把组成员信息以及订阅.
什么是 Kafka Rebalance 以及关于 Rebalance Kafka-Python 社区客户端应该关注的地方
weixin_30514745的博客
07-17 355
什么是 Rebalance? Rebalance为什么会发生？Rebalance 的情况下 consumer 是否还能正确消费消息呢？ 记得之前在一段时间密集面试的时候总会问候选人这些问题。 重平衡 Rebalance 就是让整个 Consumer Group 下的所有的 Consumer 实例久如何消费订阅主题的所有分区达成共识的过程。在 Rebalance 的过程中，所有 Consume...
Kafka 设置分区副本数 replication.factor
Top5软件工程硕士，先后在京东、字节从事多年Java后端开发、实时和离线大数据开发
01-28 1万+
副本数是1 ，意思是就一个分区，同时也是主分区 副本数是2，意思是有2个分区，1个是主分区，1个是从分区 副本数已把主分区数包含在内。 设置replication.factor >= 3。这也是Broker端的参数。保存多份消息冗余。 replication.factor，用来设置主题的副本数。每个主题可以有多个副本，副本位于集群中不同的broker上，也就是说副本的数量不能超过broker的数量，否则创建主题时会失败。 比如partions 设置为20，replication...
kafka增加副本+增加partition+加速消费
yang_zzu的博客
08-03 4381
目录 查看topic 线上手动进行副本的增加： 1.新建，xxx.json 文件， 2.执行命令： 3.验证结果： 4.注意 线上手动pairtiton数量的增加： 1. 执行命令： 2. 查看topic 添加分区的信息： ———————————————————————— kakfa 配置文件的修改： sever.propertis 配置文件启动容器，搭建集群： 1.创建脚本： 2. 通过 rz 命令上传到服务器， 3. 修改为可执行权限， 4. 执行文件 5.验证： ..
golang与手机如何实现一些自动化操作？
soEase
10-26 5344
所有指令控制： http://adbshell.com/ golang与手机如何实现一些自动化操作？虽然不太会把电脑开起来操作手机，不过pi也应该可以与手机互动吧。 比如说来个无人值守功能啥的，语音信箱啥的....任凭想像。 第一步是实现手机与linux的连接，这里使用华为安卓手机，并没有root，反正试过几次都没成功。 ubuntu安装adb sudo add-apt-reposit...
go 使用sarama 消费kakfa
06-09
好的，我可以为您提供一些关于使用Sarama消费Kafka的基本步骤。首先，您需要安装Sarama和Kafka的Go客户端。您可以使用以下命令安装它们： ``` go get github.com/Shopify/sarama go get github.com/segmentio/kafka-go ``` 接下来，您需要使用以下代码来消费Kafka消息： ```go package main import ( "context" "fmt" "log" "os" "os/signal" "github.com/Shopify/sarama" ) func main() { // 设置 Kafka 消费者配置 config := sarama.NewConfig() config.Consumer.Return.Errors = true // 创建一个 Kafka 消费者 consumer, err := sarama.NewConsumer([]string{"localhost:9092"}, config) if err != nil { log.Fatal(err) } defer func() { if err := consumer.Close(); err != nil { log.Fatalln(err) } }() // 指定要消费的 Topic 和 Partition topic := "my-topic" partition := int32(0) // 从指定的 offset 开始消费消息 offset := sarama.OffsetOldest pc, err := consumer.ConsumePartition(topic, partition, offset) if err != nil { log.Fatal(err) } defer func() { if err := pc.Close(); err != nil { log.Fatalln(err) } }() // 监听中断信号，优雅地退出程序 signals := make(chan os.Signal, 1) signal.Notify(signals, os.Interrupt) // 消费 Kafka 消息 for { select { case msg := <-pc.Messages(): fmt.Printf("收到消息: %s\n", string(msg.Value)) case err := <-pc.Errors(): fmt.Printf("消费错误: %s\n", err.Error()) case <-signals: fmt.Println("程序已退出") return } } } ``` 上面的代码中，我们使用Sarama创建了一个Kafka消费者，并指定要消费的Topic和Partition。然后，我们从指定的offset开始监听Kafka消息，收到消息后进行处理。同时，我们也监听了中断信号，以便在程序退出时能够优雅地关闭Kafka消费者。 希望这可以帮助您开始使用Sarama消费Kafka消息。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值