【Kafka】kafka 0.10.0 isr 不为空 但是不一致 导致获取消费组异常

最新推荐文章于 2024-07-22 14:07:22 发布
最新推荐文章于 2024-07-22 14:07:22 发布
阅读量398 收藏
点赞数
分类专栏： 大数据-kafka 文章标签： isr 少 不一致 获取消费组异常
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/109778658
版权
大数据-kafka 专栏收录该内容
403 篇文章 641 订阅 ¥99.90 ¥299.90
订阅专栏
在使用Kafka 0.10.0时，遇到了ISR（In-Sync Replicas）不为空但不一致的情况，从而引发获取消费组异常。通常，ISR应包含两个副本，但在问题中只显示了一个，导致查询消费组信息失败。通过分析源码并进行相应修改，解决了这一问题。
摘要由CSDN通过智能技术生成

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。有问题可以先私聊我，本人每天都在线，会帮助需要的人。

文章目录


在这里插入图片描述

1.背景

使用kafka命令查询消费组信息的时候正常的情况如下

# topic信息如下
[lcc@lcc ~/soft/kafka/kafka_2.11-0.10
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【Kafka】Kafka如何开启SSL 控制台消费与生产 代码消费与生产
九师兄
08-06 2220
在Kafka 0.9.0.0之后，Kafka社区增加了一系列的功能，其中包含对Kafka集群进行安全管控。Broker与Client之间的权限认证（例如Producer和Consumer）。可以使用SSL或SASL，而SASL支持如下方案：SASL/GSSAPI（Kerberos），开始于0.9.0.0版本SASL/PLAIN，开始于0.10.0.0版本SASL/SCRAM-SHA-256和SASL/SCRAM-SHA-512，开始于0.10.2.0版本。
flink实战--flink整合kafka (kafka source 与 kafka sink)
阿华田的博客
12-26 1万+
简介 Flink提供的Kafka连接器，用于向Kafka主题读取或写入数据。Flink Kafka Consumer集成了Flink的检查点机制，可提供一次性处理语义。为实现这一目标，Flink并不完全依赖kafka的消费者群体偏移跟踪，而是在内部跟踪和检查这些偏移。 Maven 依赖 支持到的版本 生产者和消费者类的名成 Kafka version ...
kafka集群副本同步问题排查
battybaby的博客
01-05 2566
kafka失效副本是什么，具有哪些应对措施，在某节点故障情况下kafka集群副本状态监控情况，如何确认集群副本已恢复正常，故障期间会对下游消费有什么影响
kafka副本数据不同步ISR缺失处理
最新发布
sunxunyong的博客
07-22 260
leader会维持一个与其保持同步的replica集合，该集合就是ISR，每一个leader partition都有一个ISR，leader动态维护, 要保证kafka不丢失message，就要保证ISR这组集合存活（至少有一个存活），并且消息commit成功。Partition leader 保持同步的 Partition Follower 集合, 当 ISR 中的Partition Follower 完成数据的同步之后，就会给 leader 发送 ack。
kafka数据一致性问题
cts618
06-08 561
（1）follower故障 follower发生故障后会被临时踢出ISR，待该follower恢复后，follower会读取本地磁盘记录的上次的HW，并将log文件高于HW的部分截取掉，从HW开始向leader进行同步。等该follower的LEO大于等于该Partition的HW，即follower追上leader之后，就可以重新加入ISR了。 （2）leader故障 leader发生故障之后，会从ISR中选出一个新的leader，之后，为保证多个副本之间的数据一致性，其余的follower会先将各自的.
Kafka之分区副本与ISR
cainiao1412的博客
06-14 3964
Kafka的Topic分区本质是一个用于存储Topic下的消息的日志，但是只存一份日志会因为机器损坏或其他原因导致消息丢失不可恢复，因此需要多个相同的日志作为备份，提高系统可用性，这些备份在kafka中被称为副本(replica)。kafka将分区的所有副本均匀的分配到所有broker上，并从这些副本中选取一个作为leader副本对外提供读写服务，其他副本则被称为follower副本，只能被动的向leader副本请求数据以此保持和leader副本的状态同步。在生产环境下，因为各种不可抗因素，服务可能会发生宕
日常问题定位——kafka topic leader none ISR为空
njuptcyd的博客
06-08 7913
问题描述     某据点演示环境，用代码自动创建topic及kafka-console-consumer.sh手动创建topic，用kafka-topic.sh查看topic详细信息时，leader列显示为none，且SIR列显示为空。如图所示： 解决过程 1、首先想到的是zookeeper /controller目录下是否有值，controller在选举partition leader有重要作...
解决kafka ISR缺失严重导致消费异常的方法
gaofeng的博客
06-19 4712
解决kafka ISR缺失严重导致消费异常的方法 故障现象 生产环境flume无法消费kafka，sink的文件为空。 nifi中往kafka写消息报错 故障排查 元数据主题__consumer_offsets正常 对应无法消费的业务topic存在部分分区的ISR列表丢失2/3，且随着时间的推移，isr缺失的分区占比在增加 且flume端的消费组一直在rebalance。 尝试调整参数 kafka.consumer.session.timeout.ms=30000ms—增大消费者连
Kafka下载安装及部署
徐志的博客
11-06 2719
一、环境配置 操作系统：Cent OS 7 Kafka版本：0.10.0.0 JDK版本：1.8.0_51 二、操作过程 1、下载Kafka并解压 解压： tar zxvf kafka_2.11-0.10.0.0.tgz 2、Kafka目录介绍 /bin 操作kafka的可执行脚本，还包含windows下脚本 /config 配置文件所在目录 /libs 依赖库目录 /logs 日志数...
kafka笔记(二)Admin Client API
qq_41163645的博客
11-10 1111
kafka笔记(二)
kafka 自动与手动管理offset
m0_55613022的博客
03-15 3476
前言 offset顾名思义，即偏移量，我们知道消息从生产者发送到kafka的topic之后，是进入到不同的分区，在consumer未对消息进行消费之前，消息是有序存储在各个分区中； offset内部原理 在之前我们了解了kafka的消费者原理之后，提出这样一个疑问，kafka怎么知道某个消费组中的消费者消费消息的进度呢？ 1、从0.9版本开始，consumer默认将offset保存在Kafka ，一个内置的topic中，该topic为__consumer_offsets； 2、 Kafka0.9版本之前，
Kafka总结Isr，分区总结
下山化缘的DJ
08-14 1160
1.前言 消息队列的性能好坏，其文件存储机制设计是衡量一个消息队列服务技术水平和最关键指标之一。下面将从Kafka文件存储机制和物理结构角度，分析Kafka是如何实现高效文件存储，及实际应用效果。 1.1 Kafka的特性: 高吞吐量、低延迟：kafka每秒可以处理几十万条消息，它的延迟最低只有几毫秒，每个topic可以分多个partition, consumer group 对partition进行consume操作。 可扩展性：kafka集群支持热扩展 持久性、可靠性：消息被持久化到本地磁盘，并且支
Kafka空消费组延时rebalance(group.initial.rebalance.delay.ms配置)
疯狂的蜗牛
03-02 4970
在0.11之前的版本中，多个consumer实例加入到一个空消费组将导致多次的rebalance，这是由于每个consumer instance启动的时间不可控，很有可能超出coordinator确定的rebalance timeout(即max.poll.interval.ms)，而每次rebalance的代价又相当地大，因为很多状态都需要在rebalance前被持久化，而在rebalance后...
Kafka的副本数据同步策略即ISR
qq_38052208的博客
11-18 1052
Kafka的副本数据同步策略是： 当副本全部完成同步时，才会返回ack 优点是选举新的leader时，容忍n台节点故障，需要n+1 个副本，而且不会造成数据的大量冗余，缺点是延迟高。 虽然它的网络延迟高，但网络延迟对kafka的影响较小； ISR： 作用： 剔除故障的follower（不和leader进行同步） 如果leader故障，此时会在follower中选举新的leader 场景： lead...
Kafka中的 ISR 机制
旷野历程
08-17 1574
ISR 机制的存在是 kafka 为了平衡可靠性和可用性，不指定提供高可靠或者高可用的服务，而是将决定权交给了使用者，让使用者通过参数来控制，到底要实现什么程度的高可靠与高可用。
kafka查看消费组未消费数据情况0.9之后版本
wo1769815的专栏
09-16 6202
bin/kafka-topics.sh --zookeeper 127.0.0.1:2181 --list //查看topic bin/kafka-consumer-groups.sh --new-consumer --bootstrap-server localhost:9092 --list //查看消费组 bin/kafka-consumer-groups.sh --new-consum...
Kafka ISR
Erica_1230的专栏
03-05 1624
ISR（in-sync replica） 就是 Kafka 为某个分区维护的一组同步集合，即每个分区都有自己的一个 ISR 集合，处于 ISR 集合中的副本，意味着 follower 副本与 leader 副本保持同步状态，只有处于 ISR 集合中的副本才有资格被选举为 leader。一条 Kafka 消息，只有被 ISR 中的副本都接收到，才被视为“已同步”状态。这跟 zk 的同步机制不一样，zk 只需要超过半数节点写入，就可被视为已写入成功。 follwer 副本与 leader 副本之间的数据同步流
关于kafka的isr机制
流的博客
01-10 9738
1. 问题 Data Replication Kafka 的 Data Replication 需要解决如下问题： 怎样 Propagate 消息 在向 Producer 发送 ACK 前需要保证有多少个 Replica 已经收到该消息 怎样处理某个 Replica 不工作的情况 怎样处理 Failed Replica 恢复回来的情况 2. Propagate 消息 通过zookeeper先知...
Kafka异常处理(消费者不消费数据)
热门推荐
Open the eyes of my heart,see new world.
09-04 1万+
问题生产问题，OffsetMonitor 监控发现运行了一个月的kafka突然间消费有lag.而且消费端不消费数据分析在客户端写try..catch…捕获异常： 2017-08-27 09:47:48,103 ERROR [com.ecar.eoc.message.platform.kafka.Kafka211Context] - [kafka_Exception———->>org.apache.
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值