【kafka】kafka消费者报错INVALID_FETCH_SESSION_EPOCH

最新推荐文章于 2024-06-04 19:41:16 发布
最新推荐文章于 2024-06-04 19:41:16 发布
阅读量2.2k 收藏 1
点赞数
分类专栏： 大数据-kafka 文章标签： kafka 分布式 java
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/122332084
版权
大数据-kafka 专栏收录该内容
398 篇文章 630 订阅 ¥99.90 ¥99.00
订阅专栏

在这里插入图片描述

1.概述

kafka消息积压会导致cpu飙升吗 我从kafka中批量拿日志 遍历然后json反序列化成对象 在将对象批量入库 在某次入库之后日志打印INVALID_FETCH_SESSION_EPOCH 然后 就再没有入库的日志打印出来了。 后面还有一个报错 ：atches retrned

atches returned in poll()  with max.poll.recodes

INVALID_FETCH_SESSION_EPOCH 这个东西百度结果是kafka的egement回滚或者删除 消费者报这个错 下面那个是说消费能力跟不上导致消费积压

2.网上解释

参考: kafka消费者报错INV

了解本专栏 订阅专栏 解锁全文
九师兄
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 1
    评论
专栏目录
订阅专栏
【Flink】Flink 消费 kafka报错 写入 es 死信队列 FetchSessionHandler DisconnectException、写入卡死
九师兄
01-26 1413
到现场排查也没有排查出来，因为流计算任务日志很大，使用yarn命令都无法下载日志，几百G的日志好像，这个问题是一周或者几周后出现的，所以当时一直没看到问题，后来老大去看的，才在后面发现了日志。这里出问题，就是上面的，出现超时异常或者其他异常，竟然又将数据放回队列了，然后平常情况下可能没事，一旦es有些问题一直超时，导致队列满了，会出现，看起来flink任务卡死了，然后监控source节点，发现不消费数据了，这里可以采取两个方案。这不是关键的，这个错误没怎么看，但是下面这个导致了大问题。
关于Kafka Fetch Session的讨论
weixin_34220623的博客
07-19 4411
Kafka在1.1.0版本引入了fetch session的概念，旨在降低“无效”FETCH请求对集群带宽资源的占用。故事的背景是这样的： 　　众所周知，Kafka的broker和consumer都会定期地向leader broker发送FETCH请求去获取数据。对于分区数很多的topic而言，待发送的FETCH请求就会很大，从而整体上增加网络带宽占用。即使这些分区没有任何新的数据到来，foll...
kafka消费者报错INVALID_FETCH_SESSION_EPOCH
热门推荐
qq_42150559的博客
09-11 2万+
完整报错 [2019-09-11T12:09:49,735][INFO ][org.apache.kafka.clients.FetchSessionHandler] [Consumer clientId=logstash2es-consumer-1, groupId=logstash2es-consumer] Node 4 was unable to process the fetch requ...
Error sending fetch request (sessionId=INVALID, epoch=INITIAL) to node 0
an13654067079的博客
05-25 1万+
Error sending fetch request (sessionId=INVALID, epoch=INITIAL) to node 0
kafka消费端异常
weixin_30532759的博客
07-05 253
公司有个项目在用kafka同步数据，详细背景就不交代了，客户端版本0.9.0.1，自动提交offset，发现程序在kafka拉不到消息时poll每次都提示如下信息及报错： 由于项目环境及代码均在公司内网，详细日志无法贴出来，基本就是： ........................ Marking the coordinator 11111111111 dead. ...........
windows下启动kafka进行主题消费时报错
weixin_43141612的博客
07-27 273
windows下启动kafka消费者报错
Kafka 错误代码解释
Rao的博客
02-24 2万+
Kafka 原生API交互的Code代表 使用client 与 kafka 交互时，会返回错误代码，官方给出了，代码表示的具体含义 官网地址 https://kafka.apache.org/protocol 示例 KeyError 36 表示 topic 已存在 下表是Error code 以及相对应的关系 Error code retriable description ...
kafka_exporter-1.6.0.linux-amd64.tar.gz
09-06
centos kafka_exporter kafka_exporter-1.6.0.linux-amd64.tar
apache-kafka-documentation-cn.zip_apache kafka_kafka
09-23
apache-kafka-documentation-cn
Kafka配置参数详解 - 网络技术.rar_KAFKA broker_Kafka配置参数详解_kafka
09-14
每个kafka broker中配置文件server.properties必须配置的属性如下
Apache Kafka 3.2.0 (Scala 2.13 ：kafka_2.13-3.2.0.tgz)
06-12
Apache Kafka 3.2.0 (Scala 2.13 ：kafka_2.13-3.2.0.tgz) 是一个开源分布式事件流平台，被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用程序。) 是一个开源分布式事件流平台，被数千家公司用于高...
Kafka-Grpc_kafka_assignment_
10-01
kafka solution to assignment
搭了个三节点的Kafka集群，只要一创建topic就报Should not set log start offset的错
chang_harry的专栏
12-30 1282
at java.lang.Thread.run(Thread.java:748) [2019-12-30 16:08:37,947] INFO [ReplicaFetcher replicaId=1, leaderId=3, fetcherId=0] Node 3 was unable to process the fetch request with (sessionId=INV...
Kafka消费者架构 - Fetcher
The Secret
10-26 792
本文解析Kafka消费者架构中的Fetcher模型。
【kafka】Kafka Fetch Session 剖析
九师兄
07-12 2378
1.概述 转载：https://www.cnblogs.com/smartloli/p/14352489.html 1.概述 最近有同学留言在使用Kafka的过程中遇到一些问题，比如在拉取的Topic中的数据时会抛出一些异常，今天笔者就为大家来分享一下Kafka的Fetch流程。 2.内容 2.1 背景 首先，我们来了解一下，Fetch Session的目标。Kafka在1.1.0以后的版本中优化了Fetch问题，引入了Fetch Session，Kafka由Broker来提供服务（通信、数据交互等）。每.
【kafka异常】kafka 常见异常处理方案(持续更新! )
石臻臻的杂货铺(szzdzhp001)
07-16 9781
The leader epoch in the request is older than the epoch on the broker -- Partition $topicPartition marked as failed 说明 当前分区的Leader的epoch比Broker的epoch老 所以导致follow去fetchleader的时候报错； 只要重新发生一下Leader选举就行了; ......
租约---fencing机制 kafka的epoch
varyall的专栏
03-24 1234
redis锁超时 锁超时被释放不是很正常吗。。 因为我没有用过redis，所以对于楼上说的超时如何避免我不知道。。但是从分布式系统的角度来分析这个问题，锁其实就等于租约，谁从redis得到了租约，谁就是集群的leader，执行一些follower不能做的操作，但是呢，leader总是会由于种种问题（网络、gc）无法及时续租，导致超时，这时候另外一个follower进而得到锁，导致集群双主。...
kafka-生产者监听器（SpringBoot整合Kafka）
最新发布
小丁的博客
06-04 670
kafka-生产者监听器（SpringBoot整合Kafka）
kafka中KafkaAdminClient 对象的list_consumer_groups()
06-01
KafkaAdminClient 对象也提供了 list_consumer_groups() 方法，用于列出 Kafka 集群中所有的消费者组。与 KafkaConsumer 类中的方法不同，KafkaAdminClient 的方法不需要创建消费者实例，因此更适合管理任务。 该...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值