Kafka 副本OffsetOutOfRangeException

最新推荐文章于 2020-07-03 11:34:11 发布
最新推荐文章于 2020-07-03 11:34:11 发布
阅读量4.7k 收藏 4
点赞数
分类专栏： X.1大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jediael_lu/article/details/76619066
版权
Kafka 副本OffsetOutOfRangeException@(KAFKA)[kafka]Kafka 副本OffsetOutOfRangeException1故障描述2故障详细原因线程同步锁使用了写锁未使用读锁3解决建议方法一升级至0901方法二修改kafka代码自己编译一个版本方法三新集群上线降低问题出现概率方法四检查拓扑报警时出现若是类似异常直接重启方法五拓扑均使用opaq
摘要由CSDN通过智能技术生成

Kafka 副本OffsetOutOfRangeException

@(KAFKA)[kafka]

https://issues.apache.org/jira/browse/KAFKA-2477
影响版本0.8&之前，修复版本0.9.0.0

1、故障描述

近期，由于kafka集群负载增大，server.log中经常出现下面的错误日志。这是kafka自身的一个bug。

简单说就是由于副本去leader请求同步数据时，发现请求的offset超出了leader的offset范围（原因见下面代码解释），从而认为副本出错了，于是删除副本数据，从leader重新同步一份数据过来。由于每个分区的数据较大（约60G），同步时间较长，在此期间，leader及replication均处于高磁盘、网络IO的状态，导致storm读取数据时超时无响应。

对于opaque拓扑，当发现某个分区不可用时，会读取其它分区。而transactional拓扑必须等这个分区恢复。因此最后的结果是SA的拓扑恢复了，而US/SDC的拓扑挂掉。

[2016-03-29 18:24:59,403] WARN [ReplicaFetcherThread-3-4], Replica 2 for partition [g17,4] reset its fetch offset from 3501121050 to curre
最低0.47元/天 解锁文章
jediael_lu
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kafka 异常错误集
野狼e族 的博客
05-24 2371
1、启动生产者进程：[root@VM_0_16_centos config]#  kafka-console-producer.sh --broker-list  hadoop000:9092 --topic testsss[2018-05-08 22:56:08,946] WARN Error while fetching metadata with correlation id 0 : {te...
kafka的OffsetOutOfRangeException
doctorq
10-14 1万+
参考文章kafka.common.OffsetOutOfRangeException 问题处理 这几天折腾spark的kafka的低阶API createDirectStream的一些总结。 问题描述国庆前启动spark streaming任务去消费了kafka，后来由于其他原因停止了，放假回来后，重启spark任务后，报kafka.common.OffsetOutOfRangeExcepti
apache kafka系列之server.properties配置文件参数说明
热门推荐
李志涛的专栏
05-13 7万+
每个kafka broker中配置文件server.properties必须配置的属性如下：
Kafka.common.offsetOutOfRangeException解决办法
徐腾瑞的博客
01-30 2171
问题产生原理： kafka会有三种日志留存策略： 基于空间维度 基于时间维度 基于起始位移维度   留存机制工作原理： 每个Kafka broker启动时，都会在后台开启一个定时任务，定期去检查执行所有topic日志留存，这个定时任务触发时间周期由broker端参数 log.retention.check.interval.ms控制，默认时5分钟，即每台broker每5分钟会尝试检查...
kafka遇到的坑
小强签名设计 的博客
04-06 4580
一、offset is out of range 当手动设置从指定的偏移量消费数据的时候，有时候指定的偏移量超出范围会报这个错： 2020-03-31 12:34:13.394 INFO 94001 --- [ConsumerExample] o.a.k.c.consumer.internals.Fetcher : Fetch offset 228668 is out of rang...
frankiegu#Bigdata-1#Kafka副本1
07-25
所有与leader副本保持一定程度同步的副本（包括leader副本在内）组成ISR（In-Sync Replicas），ISR集合是AR集合中的一个子集。默认情
kafka-3.5.1
09-27
开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，版本为3.5.1，Scala版本2.13;开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，...
kafka kafka kafka kafka
05-05
3. **容错性**：通过副本和仲裁机制，Kafka可以容忍broker故障，保持服务的可用性。 4. **实时性**：Kafka设计为低延迟系统，可以实现数据的实时处理。 5. **灵活性**：Kafka支持多种语言的客户端库，方便不同环境下...
Maven项目整合Kafka
03-12
使用Maven整合Kafka 包括生产者，消费者 Kafka各种配置 //1.设置参数 Properties props = new Properties(); props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "81.68.232.188:9092,81.68.232.188:9093,81...
kafka2.3.0 linux版本
最新发布
11-10
5. **Replication**: 为了提供容错性，Kafka支持副本复制，每个分区都有多个副本，其中一个为主副本，负责处理写操作。 6. **Broker**: Kafka集群由多个节点（Broker）组成，每个节点存储部分主题的分区。 **3. ...
HBase管理offset，解决kafka头越界或尾越界问题(HBase存储offset可以更换为Mysql、Redis、Zookeeper)
canfengli的博客
07-03 912
HBase管理offset，解决kafka头越界或尾越界问题(HBase存储offset可以更换为Mysql、Redis、Zookeeper什么是越界？头越界的原因尾越界的原因解决方案流程图代码实现调用方式举例 什么是越界？ 越界包括头越界或尾越界。指的程序消费的是kafka offset不在kafka的队列里面，可能是数据过期或者kafka数据被清除 ### 头越界的原因 数据过期：指的是kafka中存储的数据会在一定时间内过期，比如数据的过期时间设置为7天。 如果此时Spark、Flink、Java等程
kafka.common.OffsetOutOfRangeException 问题处理
baiyangfu的专栏
05-13 9153
昨天夜里，storm的一个程序出问题了，诚惶诚恐啊。报kafka.common.OffsetOutOfRangeException 异常： 分析一下原因： 是由于 kafka-spout 获取kafka的数据的时候获取不到，kafka 的 offset 超出现存的范围。 深入分析：         由于storm程序启动的时候，读取kafka数据的方式是从头读取（-2），当ka
SparkStreaming读取Kakfa数据时发生OffsetOutOfRangeException异常
a954194271的博客
05-07 1045
SparkStreaming读取Kakfa数据时发生OffsetOutOfRangeException异常。 参考文章：https://www.cnblogs.com/liugh/p/6957656.html SparkStreaming程序运行一段时间后突然挂掉了，查看yarn上的日志发现如下报错 19/05/06 17:47:15 INFO JobScheduler: Starting job...
kafka 错误：spark streaming使用direct方式读取kafka信息 OffsetOutOfRangeException 异常分析与解决
小蚯蚓的博客
10-19 1445
1.问题描述 spark streaming使用direct方式读取kafka信息，但是出现问题： "C:\Program Files\Java\jdk1.8.0_91\bin\java" -Didea.launcher.port=7535 "-Didea.launcher.bin.path=C:\Program Files (x86)\JetBrains\IntelliJ IDEA 201...
Hadoop入门经典:WordCount
jediael_lu的专栏
08-20 4万+
以下程序在hadoop1.2.1上测试成功。 本例先将源代码呈现，然后详细说明执行步骤，最后对源代码及执行过程进行分析。 一、源代码 package org.jediael.hadoopdemo.wordcount; import java.io.IOException; import java.util.StringTokenizer; import org.apache.hadoop
kafka副本分区分配
10-16
Kafka副本分区分配是指将Kafka集群中的每个分区复制到多个Broker上，以实现高可用性和容错性。Kafka使用一种称为ISR（In-Sync Replicas）的机制来确保副本之间的同步。ISR是指已经复制了所有消息的副本集合。当一个...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值