记一次kafka报错解决方法

最新推荐文章于 2025-03-12 00:30:00 发布

yunson_Liu

最新推荐文章于 2025-03-12 00:30:00 发布

阅读量4.4k

点赞数 1

分类专栏： kafka 云深海阔专栏文章标签： kafka

本文链接：https://blog.csdn.net/baidu_38432732/article/details/105628832

版权

云深海阔专栏同时被 2 个专栏收录

408 篇文章

订阅专栏

kafka

4 篇文章

订阅专栏

报错问题

kafka[14106]: [2020-04-20 10:24:03,705] ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)
kafka[14106]: kafka.common.InconsistentClusterIdException: The Cluster ID Gt11PTJ3RR6OxudlEMounw doesn't match stored clusterId Some(GJQOGIUGSXK8EQzTaGY0ew) in meta.properties. The brok
kafka[14106]: at kafka.server.KafkaServer.startup(KafkaServer.scala:220)
kafka[14106]: at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:44)
kafka[14106]: at kafka.Kafka$.main(Kafka.scala:84)
kafka[14106]: at kafka.Kafka.main(Kafka.scala)

错误原因分析

直接原因：服务器在重启后出现的问题

根本原因：server.properties和meta.perporties（kafka启动后会在日志目录下生成的配置文件）配置文件的broke.id的值不一样，在我们服务重启后机器重启因meta.properties配置文件没处理掉，所以就会报错

解决方法：

方法一：

1、我们找到我们的server.properties配置文件的log.dirs参数的配置项，找到我们的log配置目录

2、将该目录下的meta.properties删除或别名

[root@localhost kfk]# mv /tmp/kafka-logs/meta.properties /tmp/kafka-logs/meta.properties_bak

方法二：

就是直接手动将meta.properties的值改成server.properties的值一致

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

yunson_Liu

关注关注

1
点赞
踩
10

收藏

觉得还不错? 一键收藏
2
评论
分享

复制链接

分享到 QQ

分享到新浪微博

扫一扫
打赏
打赏
打赏举报

举报

专栏目录

【kafka】kafka 报错 no brokers found when trying to rebalance、broker id 丢失

九师兄

12-27

1550

一个kafka集群，zk正常，每个broker的9092都能telnet通畅，然后jmx端口都是开启的，但是集群状态却是不正常的。排查先到后台使用命令查询topic详情这样是能查询topic详情的，然后消费一下试试查看topic详情的时候 topic是正常的。查看zk下的broker id 信息为空了然后查看topic详情显示正常，所以能查询topic详情所以这应该是遇到broker id漂移了，需要重启zk和kafka。

记一次kafka使用不当导致的服务器异常

ffyyhh995511的专栏

07-01

1342

记一次kafka使用不当导致的服务器异常

2 条评论您还未登录，请先登录后发表或查看评论

Kafka启动后过一会儿自动挂掉

xiaoxiao______的博客

12-07

1050

meta.properties中的broker.id和server.properties中的不一致 meta.properties文件位置在自己设置的server.properties中 log.dirs=。。。的目录下我的设置路径是这个：log.dirs=/usr/local/kafka/data/kafka-logs 所以meta.properties在kafka-logs下！ ...

【kafka集群重启服务器后启动报错详解】No `meta.properties` found in /tmp/kraft-combined-logs（两种解决方法，已解决）

写好每一行代码

12-19

1109

原因在 /kraft/server.properties 中设置的日志目录是 /tmp/kraft-combined-logs，虚拟机重启后目录 /tmp 就被清空了，没有修改 log.dirs 日志文件存贮目录，导致启动报错找不到 meta.properties 文件在 /tmp/kraft-combined-logs 目录下。

kafka启动报错 InconsistentClusterIdException

最新发布

gs80140的专栏

03-12

782

通过以上步骤，Kafka 应能正常启动。如问题仍然存在，请检查防火墙设置、网络连接或 ZooKeeper 集群的健康状态。数据是正确来源（例如 ZooKeeper 数据损坏或误删）时。文件和 ZooKeeper 数据目录的权限。操作前请备份 ZooKeeper 的。确保 Kafka 进程具备读写。目录，防止误操作造成数据丢失。确保所有 Kafka 节点的。：当确认 Kafka 本地的。与 Kafka 本地文件。

公司kafka集群中server.properties里brokerid都为-1，而meta.properties中brokerid各不相同，这是什么情况？ brokerid是以server.pro

Avril___的博客

12-01

2167

默认情况下broker.id值为-1。Kafka broker的id值必须大于等于0时才有可能正常启动，但是并不是只能通过配置文件config/server.properties来修改这个值，还可以通过meta.properties文件或者自动生成功能来实现broker的id值的设置。比如：meta.properties文件中的内容参考如下： version=0 broker.id=1 meta.properties文件中记录了与当前Kafka版本对应的一个version字段。还有一个broker.id即

kafka自杀

鸭梨的博客

12-30

360

kafka启动后总是报错,查看log报错如下 /usr/local/kafka/logs/server.log ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.InconsistentBrokerIdException: Configured broker.id 10 doesn’t match stored broker.id 1 从报错

记录踩过的坑-Kafka

天边一坨浮云

04-12

185

目录启动创建和查询topic The Cluster ID xxx doesn't match stored clusterId Some(xxx) in meta.properties. 启动 kafka-server-start.bat D:\kafka\config\server.properties 注意kafka-server-start.bat在bin\windows下创建和查询topic 启动zookeeper和Kafka之后，进入kafka目录 1.创建Topic .

记录一次kafka connectos之erdemcer启动报错

syyyyyyyyyyyyyyh的博客

07-07

446

报错信息 [2021-07-07 16:12:36,658] ERROR WorkerSourceTask{id=oracle-logminer-connector-0} Task threw an uncaught and unrecoverable exception (org.apache.kafka.connect.runtime.WorkerTask:177) java.lang.ArrayIndexOutOfBoundsException: 1 at java.util.Arrays$Arra

记一次kafka集群频繁crash的排查过程

HULK一线技术杂谈

03-15

1045

01概述kafka集群中的某些broker会随机重启，并且重启没有什么规律。broker重启对于client端使用层面是无感知的，但是在数据一致性、稳定性方面存在风险。broker重启时，...

记录一次kafka创建主题失败

syyyyyyyyyyyyyyh的博客

06-29

1003

报错信息 Error while executing topic command : Replication factor: 3 larger than available brokers: 0. [2021-06-29 13:10:38,512] ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 3 larger than available brokers: 0. (k

Kafka集群搭建的两种方式

dxh9231028的博客

08-17

2160

在2.8.0版本以前，Kafka集群的搭建依赖于Zookeeper环境，需要将kafka集群节点ip及主题等Kafka相关的元数据存入Zookeeper服务中。所以搭建Kafka集群前，需要先搭建Zookeeper集群。zookeeper多主机集群搭建。

启动kafka2.8报afka.common.KafkaException: No `meta.properties` found in /tmp/kraft-combined-logs

wobenqinren的博客

06-05

3126

1.异常 ~/mine/kafka_2.13-2.8.0$ ./bin/kafka-server-start.sh config/kraft/server.properties [2021-06-05 16:06:47,771] INFO Registered kafka:type=kafka.Log4jController MBean (kafka.utils.Log4jControllerRegistration$) [2021-06-05 16:06:48,053] INFO Setting -

Kafka常见错误及解决办法

热门推荐

yiweiyi329的博客

09-24

4万+

1、报错信息： org.apache.kafka.clients.consumer.OffsetOutOfRangeException: Offsets out of range with no configured reset policy for partitions: {qukan_log_v3-198=2289560518} 报错原因：当消费者消费offset大于或小于当前kafka集...

Kafka的消息可以被删除吗？如果可以，有哪些删除策略？Kafka如何保证消息的有序性？Kafka和其他消息中间件（如ActiveMQ、RabbitMQ）的区别是什么？Kafka的消费者组是什么？它的

luoluoal的博客

07-08

1699

基于时间的保留策略会根据消息的时间戳来删除旧的消息，而基于大小的保留策略会根据分区的大小来删除旧的消息。消息排序和传输保证：Kafka保证了消息的有序性，每个分区内的消息是有序的，并且可以根据时间戳进行全局有序。一旦消息的时间戳超过了设定的过期时间，Kafka会将其标记为过期，并在后续的清理过程中删除这些过期的消息。默认的分区选择策略是基于消息的key进行哈希计算，以保证相同key的消息进入同一个分区，从而保证相同key的消息的有序性。Kafka保证每个分区内的消息顺序，但不保证跨分区的消息有序。

kafka启动报错——aboutyun

火麒马

12-18

501

[2019-12-18 18:49:35,492] FATAL Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) org.I0Itec.zkclient.exception.ZkException: Unable to connect to master:2181,slave...

【Kafka】关于Kafka启动时报错的解决过程

cnskylee的博客

03-17

1万+

版本信息： kafka_2.12-3.1.0、apache-zookeeper-3.8.0 报错信息： [2022-03-16 05:30:57,192] WARN An exception was thrown while closing send thread for session 0x100007216820000. (org.apache.zookeeper.ClientCnxn) EndOfStreamException: Unable to read additional data f

Docker搭建Kafka集群（Docker & Kafka & Cluster）

三枪八路的博客

10-24

4356

Docker搭建Kafka集群环境准备依赖单实例（Without Docker）安装JDK下载安装包启动进程测试集群安装（Without Docker）准备启动zookeeper 集群更改配置启动测试Docker 集群安装安装Docker 环境准备依赖 CentOS7.6 单实例（Without Docker）安装JDK 去官网上下载1.8版本的tar.gz ，如果使用yum安装或者下载rpm...

Kafka跨集群同步工具——MirrorMaker

Linux平台软件设计与开发

02-16

1万+

MirrorMaker是为解决Kafka跨集群同步、创建镜像集群而存在的；下图展示了其工作原理。该工具消费源集群消息然后将数据重新推送到目标集群。 MirrorMaker使用方式启动mirror-maker程序需要一个或多个consumer配置文件、一个producer配置文件是必须的其他参数是可选的。 kafka-run-class.sh kafka.tools.MirrorMaker

如何捕获kafka报错信息

07-29

要捕获Kafka的报错信息，你可以通过使用Spring Kafka提供的错误处理器(Error Handler)来实现。下面是一种常见的处理方式： 1. 创建一个实现ErrorHandler接口的自定义错误处理器类，用于处理Kafka报错信息。 ```java import org.apache.kafka.clients.consumer.ConsumerRecord; import org.springframework.kafka.listener.ErrorHandler; import org.springframework.kafka.listener.ListenerExecutionFailedException; import org.springframework.kafka.support.Acknowledgment; import org.springframework.util.backoff.BackOff; import org.springframework.util.backoff.FixedBackOff; public class CustomErrorHandler implements ErrorHandler { @Override public void handle(Exception thrownException, ConsumerRecord<?, ?> record, Consumer<?, ?> consumer, MessageListenerContainer container) { // 捕获Kafka报错信息并进行处理 if (thrownException instanceof ListenerExecutionFailedException) { ListenerExecutionFailedException failedException = (ListenerExecutionFailedException) thrownException; // 获取异常的原因并进行相应的处理 Throwable cause = failedException.getCause(); if (cause != null) { // 处理异常信息 } } // 可以选择进行一些其他操作，如重试或记录错误日志 } @Override public void handle(Exception e, ConsumerRecord<?, ?> consumerRecord) { // 处理没有指定消费者和容器的情况 } @Override public void handle(Exception e, ConsumerRecord<?, ?> consumerRecord, Consumer<?, ?> consumer) { // 处理没有指定容器的情况 } @Override public void handle(Exception e, ConsumerRecord<?, ?> consumerRecord, Consumer<?, ?> consumer, String s) { // 处理没有指定容器和主题的情况 } } ``` 在上面的例子中，我们创建了一个CustomErrorHandler类来自定义错误处理。在handle方法中，我们可以捕获Kafka报错信息并进行相应的处理，如记录日志、重试等。 2. 在Kafka消费者配置中设置自定义错误处理器。 ```java @Configuration @EnableKafka public class KafkaConsumerConfig { @Bean public ConsumerFactory<String, String> consumerFactory() { // 创建ConsumerFactory配置... } @Bean public ConcurrentKafkaListenerContainerFactory<String, String> kafkaListenerContainerFactory() { ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<>(); factory.setConsumerFactory(consumerFactory()); // 设置自定义错误处理器 factory.setErrorHandler(new CustomErrorHandler()); return factory; } } ``` 在上面的例子中，我们通过设置ConcurrentKafkaListenerContainerFactory的setErrorHandler方法来指定使用自定义的错误处理器。通过以上步骤，你就可以使用自定义的错误处理器来捕获Kafka的报错信息，并根据需要进行相应的处理。