30个Kafka常见错误小集合

王知无(import_bigdata)

已于 2022-03-12 12:13:00 修改

阅读量984

点赞数

分类专栏： Kafka系统性学习专栏文章标签：网络 kafka java 大数据 hadoop

于 2021-08-05 08:00:00 首次发布

原创文章禁止转载。否则追究法律后果。

本文链接：https://blog.csdn.net/u013411339/article/details/119430435

版权

Kafka系统性学习专栏同时被 2 个专栏收录

20 篇文章 1 订阅 ¥29.90 ¥99.00

订阅专栏

超级会员免费看

大数据成神之路

254 篇文章 157 订阅

订阅专栏

本文整理了Kafka使用中常见的30个错误，包括UnknownTopicOrPartitionException、LEADER_NOT_AVAILABLE、NotLeaderForPartitionException等，并提供了详细的错误原因分析及解决方法，涵盖网络异常、配置错误、权限问题等多个方面。

摘要由CSDN通过智能技术生成

本文是一个Kafka使用过程中的常见错误的总结。希望对你有帮助。

1、UnknownTopicOrPartitionException

org.apache.kafka.common.errors.UnknownTopicOrPartitionException:
This server does not host this topic-partition

报错内容：分区数据不在

原因分析：producer向不存在的topic发送消息，用户可以检查topic是否存在或者设置auto.create.topics.enable参数

2、LEADER_NOT_AVAILABLE

WARN Error while fetching metadata with correlation id 0 : {test=LEADER_NOT_AVAILABLE} (org.apache.kafka.clients.NetworkClien

报错内容：leader不可用

了解本专栏

订阅专栏解锁全文

超级会员免费看

确定要放弃本次机会？

福利倒计时

: :

立减 ¥

普通VIP年卡可用

立即使用

王知无(import_bigdata)

关注关注

0
点赞
踩
3

收藏

觉得还不错? 一键收藏
打赏
1
评论
复制链接

分享到 QQ

分享到新浪微博

扫一扫

专栏目录

订阅专栏

【大数据Kafka系列】Kafka面试题总结（一）

weixin_54707168的博客

05-10

216

文章目录Kafka面试题总结（一）1、Kafka 都有哪些特点？2、请简述下你在哪些场景下会选择 Kafka？3、Kafka 的设计架构？4、Kafka 分区的目的？5、Kafka 是如何做到消息的有序性？6、Kafka 的高可靠性是怎么实现的？7、ISR、OSR、AR 是什么？8、LEO、HW、LSO、LW等分别代表什么？9、数据传输的事务有几种？10、Kafka 消费者是否可以消费指定分区消息？11、Kafka消息是采用Pull模式，还是Push模式？12、Kafka 高效文件存储设计特点？13、Kaf

Kafka介绍及Go操作kafka详解

yonggeit的博客

07-19

618

每个业务系统都有日志，当系统出现问题时，需要通过日志信息来定位和解决问题。当系统机器比较少时，登陆到服务器上查看即可满足当系统机器规模巨大，登陆到机器上查看几乎不现实（分布式的系统，一个系统部署在十几台机器上）LogAgent：日志收集客户端，用来收集服务器上的日志Kafka：高吞吐量的分布式队列（Linkin开发，Apache顶级开源项目）ElasticSearch：开源的搜索引擎，提供基于HTTP RESTful的web接口Kibana：开源的ES数据分析和可视化工具。

1 条评论您还未登录，请先登录后发表或查看评论

kafka常见异常汇总

weixin_34387468的博客

11-15

2520

1>.java.lang.OutOfMemoryError:Map failed 　　发生上述问题，原因是发生OOM啦，会导致kafka进程直接崩溃掉！因此我们只能重新启动broker节点了，但是我们为了让broker节点启动成功快一点的话，可以将一个参数的之调大：“num.recovery.threads.per.data.dir=30”，没错就是他，我们将他的值越调...

Springboot项目集成kafka启动报错

最新发布

qq_45282568的博客

10-12

446

默认屏蔽了DES等弱密码算法，导致认证不通过；或着使用jdk8u351之前的版本。

3、kafka常见问题

爱欧米

11-20

3511

kafka常见问题 1. kafka名词解释 Broker：消息中间件处理结点，一个Kafka节点就是一个broker，多个broker可以组成一个Kafka集群。 Topic：一类消息，例如page view日志、click日志等都可以以topic的形式存在，Kafka集群能够同时负责多个topic的分发。 Partition：topic物理上的分组，一个topic可以分为多个partition，每个partition是一个有序的队列。 ...

Kafka 常见问题与解决

Flying_Fish_roe的博客

09-25

1184

Kafka 是一个高性能的分布式消息流处理平台，广泛用于实时数据处理、大规模日志收集和事件驱动架构。然而，由于 Kafka 的分布式特性、复杂的配置以及多种应用场景，使用过程中可能会遇到一些常见问题。

（十）kafka常见问题汇总

weixin_43930865的博客

08-31

7637

1：kafka问题总结 1：消费者消费消息失败查看topic的副本同步机制是否一致 kafka-topics.sh --describe --zookeeper hdp01:2181,hdp02:2181,hdp03:2181 --topic kafka_test HW俗称高水位，HighWatermark的缩写，取一个partition对应的ISR中最小的LEO作为HW，consumer最多只能消费到HW所在的位置。另外每个replica都有HW,leader和follower各自负责更新自己的HW

kafka面试常见问题(1)

2401_84182428的博客

04-27

867

死信队列（Dead Letter Queue，DLQ）是消息队列管理中的一个重要概念，它用于存储无法成功处理的消息。在消息中间件和分布式系统中，死信队列是用来增强系统的健壮性和可靠性的机制之一。其主要目的是保证系统在面对错误、异常或特定条件下仍能正常运行，同时不丢失任何重要数据。死信队列的工作原理消息无法投递：当消息因为各种原因（如目标队列不存在、队列已满）无法被成功投递到目标队列时，这些消息会被发送到死信队列。

Kafka

小道的博客

11-23

2163

Kafka知识点汇总

kafka常见面试题与知识点

yin_fei_lnmp的博客

06-03

1460

目录一、常见面试题1、什么是kafka2、kafka的设计是什么样的？3、数据传输的事务定义有哪三种4、kafka判断一个节点是否还活着5、producer 是否直接将数据发送到broker 的 leader（主节点）？6、kafka消息采用的是pull模式还是push模式？7、kafka存储在硬盘上的消息格式是什么？8、kafka高效文件存储设计特点9、kafka与传统消息系统之间有三个关键区别10、kafka创建 topic时如何将分区放置到不同的Broker中？11、kafka新建的分区会在哪个目录下

the kafka reader got an unknown error reading partition

王仁一的博客

03-14

530

max_wait不是fetch data wait time,包中仅reader.go 1493行代码中,conn.ReadBatchWith()中超时作用,设置过短会导致io/timeout异常,conn频繁以为异常重建。github.com/segmentio/kafka-go consumer报以下异常。MaxWait 修改为 3*time.Second。

kafka 异常：org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host

hugo_lei的博客

05-06

1万+

org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition。 producer 向一个之前不存在的 topic 写数据，因此时 topic 正在创建中 producer 就发送了数据，因此 topic 不存在。这是一个可重试异常，也既等一会再发送数据就可以了，因此 producer 需要加入重试 retry 逻辑。

kafka:UNKNOWN_TOPIC_OR_PARTITION