kafka创建、启动topic遇到的bug汇总 解决方法

最新推荐文章于 2024-05-13 22:46:28 发布
最新推荐文章于 2024-05-13 22:46:28 发布
阅读量2.8k 收藏 3
点赞数
分类专栏： BUG 文章标签： kafka bug java
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47872288/article/details/126569877
版权
本文总结了在创建、启动Kafka topic过程中遇到的ERROR TimeoutException、KafkaException以及jps不显示Kafka进程的问题，并提供了详细的解决办法，包括调整Zookeeper连接超时时间、设置副本数量与服务器匹配、修正配置文件以及处理主机名映射等。
摘要由CSDN通过智能技术生成

目录

前言

在学习kafka的时候会有少许bug，以下是我遇到的bug，希望能对你有所帮助（如果有新的bug也可在评论区回复探讨下）

对应将其zookeeper的链接设置久一点，在其配置文件中修改为60000即可

# Timeout in ms for connecting to zookeeper
zookeeper.connection.timeout.ms=60000

1. ERROR org.apache.kafka.common.errors.TimeoutException

如果无法创建主题，可看下面这个bug：

问题一：显示节点不够，那就是副本数量要和服务器的数量对应&#

了解本专栏 订阅专栏 解锁全文 超级会员免费看
码农研究僧
关注
专栏目录
订阅专栏
Kafka常见故障分析总结
starstation8的专栏
05-12 5713
最近的项目用Kafka比较多，之前碰到很多问题都是网上搜索解决的，我将我近期踩坑爬坑的一些情况稍微总结一下，希望对后面的同学有点帮助。有错误的地方欢迎留言。 kafka基础知识可以参考这里 https://www.w3cschool.cn/apache_kafka/apache_kafka_quick_guide.html 本文kafka针对版本kafka_2.12-2.1.0, 不同版本可能现象和配置有差异。 Kafka连接类故障 故障现象：kafka正常启动后，连...
Kafka简介
d303577562的博客
08-09 381
1.简介 1.1.概述 Kafka是最初由Linkedin公司开发，是一个分布式、分区的、多副本的、多订阅者，基于zookeeper协调的分布式日志系统（也可以当做MQ系统），常见可以用于web/nginx日志、访问日志、消息服务等等，Linkedin于2020年贡献给了Apache基金会并成为顶级开源项目。 主要应用场景是：日志手机系统和消息系统。 Kafka主要设计目标如下： 以时间复杂度为O(1)的方式提供消息持久化能力，即使对TB级以上数据也能保证常数时间的访问性能。 高吞吐率。即使在非常廉价的商
kafka创建主题时循环报错 java.net.ConnectException: 拒绝连接...【已解决】
杨大仙
11-18 2730
今天犯了一个很低级的错误，导致循环报错：拒绝连接。报错信息如下： java.net.ConnectException: 拒绝连接 at sun.nio.ch.SocketChannelImpl.checkConnect(Native Method) at sun.nio.ch.SocketChannelImpl.finishConnect(SocketChannelImpl.java:717) at org.apache.zookeeper.ClientC
Failed to create new KafkaAdminClient No resolvable bootstrap urls given in bootstrap.servers
热门推荐
wy0612的博客
05-11 1万+
这种情况一般都是没将主机名和ip映射 配置在操作系统中。 编辑hosts文件，将主机的主机名和ip 写入。
Kafka报错org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms.
球球的博客
10-21 8982
问题描述 kafka producer/consumer连接kafka broker超时，报错日志： org.apache.kafka.common.errors.TimeoutException: Failed to update metadata after 60000 ms. 解决办法 假如：kafka broker部署在172.17.162.198（主机名为myhost01）机器。...
springboot集成kafka
qq_38027612的博客
12-03 471
1. pom.xml中增加依赖包 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> </dependency> 2.application.yml中引入kafka相关配置 spring: kafka..
springboot 启动 kafka创建topic不生效
tricklin的博客
03-02 2696
kakfa springboot创建topic
Flink借助Kafka实现端到端精准一次_flink 如何保障数据一致性
2301_77033583的博客
04-29 1588
检查点保存的启动，标志着我们进入了两阶段提交协议的“预提交”阶段。但此时现在还没有具体提交的数据。jobManager 通知各个 TaskManager 启动检查点保存，Source 任务会将检查点分界线（barrier）注入数据流。这个 barrier 可以将数据流中的数据，分为进入当前检查点的集合和进入下一个检查点的集合。
Kafka 设计思想
qq_18801027的博客
08-24 238
Kafka 设计思想 参考 Kafka 中文文档 >> 设计思想 动机 Kafka 被设计为一个统一的平台来处理大公司可能拥有的所有实时数据馈送。要做到这点，需要考虑相当广泛的用例。 Kafka 必须具有高吞吐量来支持高容量事件流，例如实时日志聚合。 Kafka 需要能够处理大量的数据挤压，以便能够支持来自离线系统的周期性数据加载。 这也意味者系统必须低延迟分发，来处理更传统的传递用例。 持久化 Kafka 对消息的存储和缓存严重依赖于文件系统。人们对于 “磁盘速度慢” 的普遍印象，使得人们
kafka集群部署成功后，创建生产者往指定主题里面发送消息时出错
北辰
05-06 632
问题描述：kafka集群部署成功后，创建生产者往指定主题里面发送消息时出错，如下所示： 解决办法：在kafka的server.properties配置文件中需要打开listenner配置行，不能使用默认的。使用默认的就会出现上述类似错误，打开该配置行后，需要将your.host.name配置为整个集群环境可以访问的本机IP ...
Spring Boot集群管理工具KafkaAdminClient使用方法解析
08-24
主要介绍了Spring Boot集群管理工具KafkaAdminClient使用方法解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
Kafka中无法创建新的topic
m0_49195536的博客
03-23 3255
记录一下自己曾经出错过的地方 输入 ./kafka-topics.sh --create --zookeeper 127.0.0.1:2181 ---partitions 1 --replication-factor 1 --topic test 以后出现 Exception in thread "main" joptsimple.UnrecognizedOptionException: -partitions is not a recognized option at jopts...
Kafka命令行创建Topic失败
程序猿的日常笔记
03-25 1291
刚安装了 Kafka，验证一下是否安装成功。想要在 Kafka 上创建一个 Topic，因为没有安装管理界面所以只能尝试登录服务器用命令行创建。在使用创建Topic的命令的过程中反复失败。
spring boot集成kafka报错 not present and missingTopicsFatal is true
wan3964366的博客
11-23 2099
springboot 集成 spring-kafka启动项目有消费者的情况下，kafka中没有创建指定topic的报如下错误。 环境 springboot 2.2.2.RELEASE not present and missingTopicsFatal is true 解决办法 spring.kafka.listener.missing-topics-fatal=false ...
单机Kafka创建topic时报错
weixin_47916959的博客
09-13 2115
创建topic需要使用最新的kafka创建方式：需要把--zookeeper改为--bootstrap-server，且把端口号改为Kafka的端口号9092。
关于kafka连接超时的解决思路
weixin_60909815的博客
11-14 6580
kafka启动出现超时的一种解决思路
【kafka】Error connecting to the cluster,Failed to create new KafkaAdminClient（已更新）
最新发布
kngines
05-13 1975
1.通过系列文章将实战组件技术经验串起来，深入、重构技术栈知识体系。 2.熟悉、梳理、总结下`kafka`相关知识体系。 3.欢迎批评指正，跪谢一键三连！
怎么设置在docker-compose启动kafka时创建topic
06-03
在Docker Compose中启动Kafka时，可以使用Kafka的命令行工具`kafka-topics.sh`来创建topic，并在Kafka服务的启动脚本中添加相应的命令。 具体操作步骤如下： 1. 在Kafka服务的启动脚本中添加创建topic的命令，如下...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

码农研究僧

你的鼓励将是我创作的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值