kafka清理日志崩溃备注

最新推荐文章于 2023-10-03 14:29:29 发布
原创 最新推荐文章于 2023-10-03 14:29:29 发布 · 649 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。

阿里云测试环境中，Kafka频繁崩溃的原因是其默认日志路径位于/tmp，该目录下的日志会被Linux定期清除。解决办法是在CentOS7下修改/usr/lib/tmpfiles.d/tmp.conf，增加保留Kafka日志的配置，或者将日志目录迁移到大硬盘挂载点。
1. 问题

在这里插入图片描述
阿里云测试环境每隔一段时间kafka崩溃，查找原因日志如下。网上部分文档建议删除日志重新或增加supervisor监控，不解决本质问题

2. 原因

根本原因在于kafka默认的日志路径在 /tmp 下，linux会定期清除tmp日志

3. 解决方案

在centos7下修改路径 /usr/lib/tmpfiles.d 的tmp.conf 增加
在这里插入图片描述
生产环境还是建议将kafka的日志目录切换到挂载大硬盘的目录下。

kafka日志被系统清理导致异常停止
Ntozot的博客
06-24 3054
kafka日志被系统清理导致异常停止,kafka报错如下： ERROR Failed to clean up log for __consumer_offsets-2 in dir /tmp/kafka-logs due to IOException (kafka.server.LogDirFailureChannel) java.nio.file.NoSuchFileException: /tmp/kafka-logs/__consumer_offsets-2/00000000000000000000.l
kafka学习 从基础到高阶
andy的博客
11-07 391
1.5 Kafka 1.5.1 Kafka架构 生产者、Broker、消费者、ZK； 注意：Zookeeper中保存Broker id和消费者offsets等信息，但是没有生产者信息。 1.5.2 Kafka的机器数量 Kafka机器数量 = 2 *（峰值生产速度 * 副本数 / 100）+ 1 1.5.3 副本数设定 一般我们设置成2个或3个，很多企业设置为2个。 副本的优势：提高可靠性；副本劣势：增加了网络IO传输 1.5.4 Kafka压测 Kafka官方自带压力测试脚本（
kafka日志被异常清理导致进程频繁挂掉
weixin_42671172的博客
06-23 3590
项目中使用到了kafka作为消息中间件，但是部署到服务器上之后kafka进程不定期挂掉，zookeeper却无任何影响。 1.错误日志 最近一次项目中kafka挂掉，查看日志文件kafkaServer.out看到了如下的错误： [2020-06-21 17:35:04,919] ERROR Failed to clean up log for __consumer_offsets-30 in dir /tmp/kafka-logs due to IOException (kafka.server.LogDi
定时清理_kafka 定时清理日志”失效“
weixin_39816062的博客
01-02 1148
有童鞋请教，log.retention.hour设置72小时(3天)，但现在6天都已经过去，却未见kafka对日志进行清理。告知童鞋检查3个地方，segment.bytes 设置值，分片目录大小，分片目录里面是否只有单个日志文件。反馈为：segment.bytes 为1G，分片目录大小为700M+，分片目录中只有单个日志文件。问题确定：未达到1G的分片大小，kafka不会进行分片，kafka不会对...
搭建kafka环境遇到kafka闪退问题以及解决办法
ddzzyy123的博客
04-23 4875
在第一次搭建kafka集群遇到了很多的错误，在网上搜索了很多，在这里，我把我搭建kafka环境遇到的问题汇总一下。1. kafka启动后秒退。2.升级jdk为jdk-8u181后，再次启动kafka，依然闪退。3.修改好之后重新启动kafka，发现其中有一台节点的kafka没有闪退，其他两台会存在1分钟之后依然退出。修改好之后，再次启动，一切正常，kafka也不会闪退了 1. kafka启动后秒退...
一文读懂Kafka生产集群规划和调优
weichuangxxb的博客
05-01 1143
前言: 通常对于初创企业或者初创业务团队来说，对于开源组件的使用都会显的比较随意，而这种情况会随着业务量级的增长和时间的推移导致开源服务的滥用和乱用，进而造成的结果就是整体业务的稳定性和可靠性相对较差，而此时，扩容的行为是边际效应递减的，如果此时不对整体业务以及开源服务进行规划和改造，那么风险和成本将是同比增长的，因此在开始阶段，需要对开源组件，特别是分布式组件进行场景规划和调优。 在我过去的...
深入理解Kafka系列（四）--Kafka的复制存储以及请求处理过程
Zong_0915的博客
11-12 913
深入理解Kafka系列（四）--Kafka的复制存储以及请求处理过程系列文章目录前言正文总结 系列文章目录 深入理解Kafka系列（一）–初识kafka 深入理解Kafka系列（二）–Kafka生产者 深入理解Kafka系列（三）–Kafka消费者 前言 本系列是我通读《Kafka权威指南》这本书做的笔录和思考。 正文 总结 本文大概从这么几个方面进行概述： ...
MySQL日志系统全解析：从Redo Log到Binlog的深度解读
本文全面解析了MySQL日志系统的主要组成，重点分析了Redo Log与Undo Log在事务处理及崩溃恢复中的工作机制，探讨了Binlog在数据复制与恢复中的关键作用，并深入研究了其写入机制、格式类型及优化策略。同时，本文...
日志级别管理最佳实践，构建可维护系统的7条黄金法则
日志级别是软件系统运行过程中记录事件严重程度的分类标准，常见级别包括 TRACE、DEBUG、INFO、WARN、ERROR 和 FATAL。合理的日志级别管理不仅能提升系统的可观测性，还能在故障排查时显著降低定位成本。在生产环境...
[Kafka错误：window下运行一段时间后自动挂掉/宕机]-----kafka在window下出现另一个程序正在使用此文件,进程无法访问的错误
u010637366的博客
08-04 3308
目录 前言------对于只想解决这个问题的程序猿们，可以直接跳到"解决" 1.背景 2.问题 3.原因 4.解决（尾部有提供编译好的kafka包下载链接） 4.1kafka补丁版本下载 4.2编译kafka补丁版本 5.懒人福音 前言------对于只想解决这个问题的程序猿们，可以直接跳到"解决" 对于只想解决这个问题的程序猿们，可以直接跳到"解决" 对于只想解决这个问题的程序猿们，可以直接跳到"解决" 对于只想解决这个问题的程序猿们，可以直接跳到"解决" 1.背景 ..
如何把一个运行完好的Kafka搞崩
weixin_33961829的博客
09-20 541
Kafka其实也只是一个JVM进程，要想把一个进程搞崩溃，相信大家的nice idea（骚操作）也不少。本文中只是用了一种很常见的方式来使得Kafka的进程崩溃，通过分析崩溃的原因来让我们可以更合理的使用Kafka。 你可以试着在一台普通的Linux机器上创建10000个分区的主...
kafka自动宕机问题解决
justinzwd的博客
02-12 1335
最近在做Spark和Flink项目的时候，总是发现Kafka在启动成功之后一小段时候就自动宕机 通过查询日志发现 Connecting to localhost:2181 2021-02-12 01:20:56,083 [myid:] - INFO [main:Environment@100] - Client environment:zookeeper.version=3.4.10-39d3a4f269333c922ed3db283be479f9deacaa0f, built on 03/23/2017
记录kafka上线N天后自动崩溃的bug分析和优化策略
qq_44821149的博客
09-13 637
看报错，很明显，OfflinePartition转化为OnlinePartition状态时，需要找到最新的leader，但是找不到（leader和follower都是自己），导致状态转换失败。通过grafana观测，排除cpu，内存和磁盘，这三项负载都没有问题，峰值网络2M/s的IO，排除flink写过快问题(这点吞吐量还是没问题的)，所以无需优化 异步写，增大写缓存 和 增大溢写磁盘频率 这些写优化。显然，原因只能是2和3。修改副本数，这样即使出现问题，leader可以重新选举，提高的容错。
kafka自动宕机原因分析和解决
小朱小朱绝不认输的博客
12-27 8299
Kafka自动宕机问题 本博客主要解决的是在运行flink程序时，Kafka在启动几秒后出现自动宕机的问题，从运行程序的情况下，主要有两个方面的问题和解决措施。 1.log日志所在内存满 在运行flink程序时，Kafka产生数据会生成两个日志目录，一个生成在Kafka目录下的log目录用来存储日志信息，一个在/config/server.properties配置文件中设置的log.dirs，为存...
linux kafka进程,kafka日志被异常清理导致进程频繁挂掉
weixin_42129113的博客
04-29 870
kafka日志被异常清理导致进程频繁挂掉2020-12-02kafka进程不定期挂掉。1、ERROR Failed to clean up log for __consumer_offsets-30 in dir /tmp/kafka-logs due to IOException (kafka.server.LogDirFailureChannel)2、linux会定时清理/tmp目录下的文件，...
kafka在window环境下频繁退出服务
weixin_32128491的博客
11-10 3455
kafka在window环境下频繁退出服务原因报错解决方案 原因 kafka日志清理策略触发，在window环境下，在打开需要清理的日志的同时，对该文件进行重命名操作是不被允许的（linux环境下可以），从而导致kafka宕机。 报错 解决方案 方案一：修改日志清理策略，将日志清理时间修改为无穷（-1），使kafka数据日志永久存储 缺点：（1）磁盘空间会不断增大 方案二：在window上搭建虚拟机（docker同理，且更麻烦），然后在虚拟机中部署kafka 缺点：（1）运维人员需要懂点linux运维知识
【Kafka专题】Kafka日志索引详解以及生产常见问题分析与总结
qq_32681589的博客
10-03 1827
了解了文件存储日志文件的特点及数据内容。
kafka问题汇总
weixin_44479862的博客
02-02 707
kafka问题汇总
清理kafka日志
06-01
清理 Kafka 日志的方法有两种： 1. 手动删除过期日志文件：在 Kafka 的配置文件中，可以通过设置 `log.retention.hours` 参数来指定日志文件的保留时间，超过这个时间的文件将被删除。手动删除过期的日志文件可以通过以下命令实现： ``` $ bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic <topic_name> ``` 其中 `<topic_name>` 指定要删除的主题名。 2. 自动清理日志：Kafka 也提供了自动清理日志的功能。通过设置 `log.cleanup.policy` 参数来指定日志清理策略，当 Kafka 发现某个日志文件过期时，就会自动删除它。常用的清理策略有： - delete：删除过期日志文件； - compact：压缩日志文件，删除重复数据。 需要注意的是，自动清理日志需要设置好正确的参数，否则可能会导致数据丢失或者磁盘空间不足等问题。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值