【kafka】Rolled new log segment at offset xxxx

于 2024-04-12 07:00:00 发布
阅读量372 收藏 4
点赞数 16
分类专栏： 大数据-kafka 文章标签： kafka java 分布式
本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。
本文链接：https://blog.csdn.net/qq_21383435/article/details/129166004
版权
大数据-kafka 专栏收录该内容
403 篇文章 639 订阅 ¥99.90 ¥299.90
订阅专栏
本文讨论了一位群友遇到的问题，即在服务器流量激增时，Kafka显示短时间内产生了大量数据。实际上，这并非由于数据快速生成，而是由于数据库备份过程导致的数据量增加。
摘要由CSDN通过智能技术生成

在这里插入图片描述

1.概述

今天群里看到有人问了一个这样的问题：Rolled new log segment at offset 241405433 in 2 ms. (kafka.log.Log) kafka日志中有这个，这是2ms一下子新增了 241405433条？

在这里插入图片描述
关键是此时消费者的服务器就来了巨量的流量

在这里插入图片描述
然后他就以为 2ms一下子新增了 241405433条数据。

但是实际上是：以这个偏移量为开始，滚动生成新的日志段，并不是数据量。但是上面那个图也说明数据量确实大了，后来发现他们此时有人正在备份数据库。

  /**
   *
了解本专栏 订阅专栏 解锁全文
九师兄
关注
专栏目录
订阅专栏
【kafka】kafka LogSegmentOffsetOverflowException segment overflow Detected offset overflow
九师兄
03-10 633
1.概述 偶然kafka报错如下 核心错误关键字： Caught segment overflow error: Detected offset overflow at offset 4266700368 in segment LogSegmen Split segment and retry Split operation is only permitted for segments with overflor 具体的错误信息如下 [2022-03-09 16:03:06,435] INFO [Log
Kafka消息保留机制 log.retention
山水牧羊
06-02 9870
目录 背景 介绍 运行机制 参数 保留参数 log.retention.bytes log.retention.hours log.retention.minutes log.retention.ms log.retention.check.interval.ms 参数间关系 实验 实验 retentions.ms 实验 retentions.btyes 又挖一坑 参考 背景 因为在windows环境运行，遭遇了文件重写异常，于是研究了一下kafka的消息保留...
深入解析Kafka的offset管理
longzorg_cn的博客
12-28 5045
但是无法做到真正的负载均衡，因为实际系统中的每个生产者产生的消息量及每个Broker的消息存储量都是不一样的，如果有些生产者产生的消息远多于其他生产者的话，那么会导致不同的Broker接收到的消息总数差异巨大，同时，生产者也无法实时感知到Broker的新增和删除。在众多leader的转移过程中，就会产生leader不均衡现象，可能一小部分broker上有大量的leader，影响了整个集群的性能，所以就需要把leader调整回最初的broker上，这就需要Preferred leader选举。
windows版kafka异常java.nio.file.FileSystemException另一个程序正在使用此文件，进程无法访问
山水牧羊
06-02 3270
环境 现象 原因 解决方法 参考
kafka消费者组重平衡悬疑问题
mmgithub123的博客
04-07 3032
首先kafka的消费者组机制一直很受诟病，就是很受诟病的。 过度设计，也不实用，永远在做没必要的重平衡。很多情况架构上和客户端上都可以自己做。 其次，如果用了咋办 什么时候会发生rebalance？ 前面我们已经说到，rebalance 其实就是对 partition 进行重新分配。那么什么时候会发生 rebalance 呢？其实在以下三种情况下，会触发 rebalance： 订阅 Topic...
线上Kafka集群节点宕机问题排查
程序猿玄微子
07-22 1622
线上Kafka集群节点宕机问题排查主机和进程信息 主机和进程信息 主机信息：6cores，64G，5.3T Kafka进程信息：4G， partition 1K左右，消息数据量3.7T 今天上午发现Kafka有个节点挂了，上去查看日志发现有如下异常 Java HotSpot(TM) 64-Bit Server VM warning: Attempt to deallocate stack guard pages failed. Java HotSpot(TM) 64-Bit Server VM warnin
kafka监控获取logSize, offset, lag等信息
热门推荐
HD_XB的博客
05-30 1万+
由于项目需要，需要查看kafka消费信息lag（lag = logSize - offset）参考https://www.aliyun.com/jiaocheng/775267.html 的实现方式在有些场景无法获取offset的值（具体原因暂不知晓后续研究下）因此决定直接从zookeeper中取offset值一、springboot项目添加依赖<dependency> <g...
【kafka】kafka log 存储时间 小于 offset 存储时间 offset存在但是消费不到
九师兄
12-17 979
在文章【kafka】kafka 消费速度 小于 日志清理速度 （kafka数据被清理了）会发生什么 auto.offset.reset 参数中我们知道了，数据消费慢于清理时间会自动重置offset.看下面这个现象。首先设置kafka配置如下这里主要看以下2个参数，然后offset保留时长是120分钟，然后日志保留60秒然后发送几条数据可以看到offset如下，然后过了20分钟，然后再次执行//xxx是服务器集群的ip。
Kafka异常复盘NotLeaderForPartitionException【实战笔记】
gaoliang1719的专栏
08-27 6144
一、情况分析1.客户端异常报警晚上10点20分接到使用方电话，日志持续报以下异常，持续时间已有10多分钟。ERROR 2019-05-15 23:05:23,221 [kafka-pro...
清理offset_关于 kafka 日志清理策略的问题
weixin_35143292的博客
01-12 1052
现象：搭建了一个 kafka 服务, 使用 kafka-python 包正常生产数据, 但是 kafka 过五分钟就把我的 topic 删除掉. 但是配置 log 的已经配置了, 我认为 kafka 不应该删除我的 topic 历史数据.关于 log 清理的配置文件:############################# Log Flush Policy ###################...
elk(1)-趁离职总结下我前公司elk方案
健景的博客
04-08 6804
elk
Kafka系列4----LogSegment分析
菜鸟一名
04-11 1851
LogSegment代表了一个Segment文件，其中有3个字段，分别代表.log，.index，.timeIndex文件，即log，index和timeIndex 核心字段 log：对应.log文件，FileRecords类型，内含有一个FileChannel对象，主要用来操作文件 index：对应.index文件，OffsetIndex类型，对索引文件的操作进行了一些封装 time...
kafka日志对象（三）—— Log的操作
fenglei0415的博客
05-23 2532
Log 的常见操作分为 4 大部分： 高水位管理操作：高水位的概念在 Kafka 中举足轻重，对它的管理，是 Log 最重要的功能之一。 日志段管理：Log 是日志段的容器。高效组织与管理其下辖的所有日志段对象，是源码的核心。 关键位移值管理：日志定义了很多重要的位移值，比如 Log Start Offset 和 LEO 等。确保这些位移值的正确性，是构建消息引擎一致性的基础。 读写操作：所谓的操作日志，大体上就是指读写日志。读写操作是kafka高吞吐量的基础。 高水位管理操作 一. 高水位定义
kafka2.2源码分析之Log日志存储
lzf的博客
05-03 665
概述 Log由一系列LogSegment组成，每个LogSegment都有一个base offset，表示该段中的第一条消息。 新的LogSegment会根据Log的配置策略来创建。配置策略控制了LogSegment的字节大小和创建的时间间隔。 成员变量 dir LogSegment的创建目录。 LogStartOffset 可以暴露给client端的最早offset。LogSta...
kafka LogSegment 日志段源码细读
weixin_40954192的博客
06-16 470
每个log对象（一个分区目录对应一个log对象）都包含了很多个日志段对象LogSegment，在Log中是以 ConcurrentNavigableMap来进行管理日志段对象的。 每个日志段对象中又包含了 消息日志文件(.log)，位移索引文件(.index), 时间戳索引文件(.timeindex),已中止事务索引文件(.txnindex)等。 接下来主要通过源码，详细解读关于LogSegment中的3个主要的方法，append,recover...
Kafka原理和实践：从Log Agent→Kafka→ElasticSearch→Kibana
架构文摘
08-08 1018
本文从Kafka的基本概念、特点、部署和配置、监控和管理等方面阐述 Kafka 的实践过程。背景最近要把原来在BB做的那套集中式日志监控系统迁移到Mobojoy这边，原来...
LogSegment分析
happy19870612's blog
05-31 1769
为了防止Log文件过大，将Log切分成多个日志文件来管理，每一个日志文件对应着一个LogSegment。在LogSegment封装了TimeIndex ,OffsetIndex以及FileMessageSet对象，提供日志文件和索引文件的读写功能和其他功能   一 LogSegment的核心字段 log: 用于操作对应消息日志文件的FileMessageSet对象 index: 用于操作
Consumer 拉取日志流程详解（十）
u013332124的专栏
11-03 2038
文章目录一、Consumer的poll模型poll执行流程相关源码解析二、获取要消费的partition三种订阅模式AUTO_TOPICS 和 AUTO_PATTERN模式USER_ASSIGNED模式三、获取partition当前commitedOffset四、Consumer 消费数据broker 处理 FETCH 请求五、offset提交同步和异步提交自动提交offset 一、Consume...
KAFKA_LOG_SEGMENT_BYTES
最新发布
09-03
KAFKA_LOG_SEGMENT_BYTES是一个配置参数，用于设置Kafka中每个日志分段（log segment）的最大字节数。当一个主题的分区（partition）在Kafka中写入数据时，数据将以追加方式写入当前活动分段（active segment）中。当当前活动分段达到配置的最大字节数后，Kafka将创建一个新的分段来继续写入数据。这个参数可以帮助控制每个分段的大小，从而影响磁盘空间利用率和读取性能。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

九师兄

你的鼓励是我做大写作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值