Kafka异常

最新推荐文章于 2024-04-18 11:45:49 发布
最新推荐文章于 2024-04-18 11:45:49 发布
阅读量1.3k 收藏
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/yl3395017/article/details/83823968
版权

单机版kafka测试

producer发送消息异常如下：

（1）ERROR fetching topic metadata for topics

kafka.common.KafkaException: 
Fetching topic metadata with correlation id 0 for topics [Set(test)]

（2）

ERROR Failed to send requests for topics logs with correlation ids

 

 处理方式 server.xml 配置host.name = 当前ip地址  不要配置127.0.0.1或者localhost 否则 zookeeper获取不到kafka broker meta信息

Ginoy
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Kafka系列之：Unexpected handshake request with client mechanism PLAIN, enabled mechanisms are []
zhengzaifeidelushang的博客
05-06 3910
Kafka系列之：Unexpected handshake request with client mechanism PLAIN, enabled mechanisms are []
大数据常见错误解决方案（转载）
defang0693的博客
02-24 3103
1、用./bin/spark-shell启动spark时遇到异常：java.net.BindException: Can't assign requested address: Service 'sparkDriver' failed after 16 retries! 解决方法：add export SPARK_LOCAL_IP="127.0.0.1" to spark-env....
Failed to allocate memory within the configured max blocking time 60000 ms
最新发布
熊孩子的博客
04-18 349
Failed to allocate memory within the configured max blocking time 60000 ms Batch containing 1 record(s) expired due to timeout while requesting metadata from brokers
Kafka 集群配置SASL+ACL
qq_39458487的博客
03-28 5068
Kafka 集群配置SASL+ACL 一、简介 在Kafka0.9版本之前，Kafka集群时没有安全机制的。Kafka Client应用可以通过连接Zookeeper地址，例如zk1:2181:zk2:2181,zk3:2181等。来获取存储在Zookeeper中的Kafka元数据信息。拿到Kafka Broker地址后，连接到Kafka集群，就可以操作集群上的所有主题了。由于没有权限控制，集群核心的业务主题时存在风险的。 本文主要使用SASL+ACL 二、技术关键点 配置文件 修改broker启动所需
kafka集群发送消息报错
zlhblogs的博客
04-24 457
host是localhost，而我的kafka集群是slave4、5上，zk在master，slave2、3上，所以分别修改 slave4、5 上的server.properties的 host.name=slave4， host.name=slave5。因为logstash采集的日志要发往kafka做一个队列机制，搭建完kafka集群后发送消息出现问题。0上的host变成了slave4。重新启动kafka，查看zk。在发送消息成功，接收消息成功。强制关闭 selinux。发送消息还是报一样的错。
Kafka SASL配置 & Demo测试
热门推荐
Be yourself.
03-14 2万+
引言 接到一个任务，调查一下Kafka的权限机制。捣鼓了2天，终于弄出来了。期间走了不少的坑。还有一堆不靠谱的家伙的博客。 Kafka版本 1.0.0 Scala 2.11 ZooKeeper 2.4.10 根据Kafka的官网文档可知，Kafka的权限认证主要有如下三种: SSL SASL(Kerberos) keytool&opssl脚本配置证书 SASL/PLAIN...
Kafka的Producer报错：Fetching topic metadata with correlation id 0 for topics
u013933879的博客
08-09 1万+
问题 在向Kafka生产消息时，报错：Fetching topic metadata with correlation id 0 for topics [Set(game-etl-finished-topic)] from broker [id:0,host:192.168.90.83,port:9093] failed 排查过程 出现问题之前做了一个操作：中断了一次消费程序后再生产数据...
Kafka 异常错误集
野狼e族 的博客
05-24 2361
1、启动生产者进程：[root@VM_0_16_centos config]#  kafka-console-producer.sh --broker-list  hadoop000:9092 --topic testsss[2018-05-08 22:56:08,946] WARN Error while fetching metadata with correlation id 0 : {te...
springboot-kafka
05-10
Spring Boot Kafka 深度解析 在现代微服务架构中，消息队列（Message Queue）如 Apache Kafka 越来越受到重视，它扮演着数据流处理和异步通信的关键角色。Spring Boot 提供了对 Kafka 的简洁集成，使得开发者能够...
Flink无法获取Kafka Topic Metadata异常及解决.docx
09-20
Flink 无法获取 Kafka Topic Metadata 异常及解决 一、问题现象 在使用 Kafka 0.11.0.1 和 Flink 1.4 进行实时计算时，Flink 无法获取 Kafka Topic Metadata，报以下异常：org.apache.kafka.common.errors....
kafka 插件kafka 插件kafka 插件
06-26
2. **编写代码**: 使用插件提供的API编写生产或消费消息的代码，处理异常和错误情况。 3. **测试和调试**: 运行测试用例，如`SFKafkaSampler`，确保消息正确生产和消费，以及性能满足需求。 4. **部署和监控**: 将...
sprinbgoot整合kafka
08-11
SpringBoot 整合 Kafka 是一个常见的微服务架构中的消息队列集成实践，它使得应用程序能够高效、可靠地处理异步消息传递。Kafka 是一种分布式流处理平台，由 Apache 软件基金会开发，用于构建实时数据管道和流应用。...
Kafka监控程序附带测试代码
05-08
- **异常检测**：识别并报警潜在的问题，如丢失消息、消费者组不平衡等。 - **可视化界面**：提供图形化的界面展示监控数据，便于快速理解和分析。 测试代码可能包含单元测试、集成测试，用于验证监控程序的功能...
【Kafka】kafka This may indicate that authentication failed due to invalid credentials
九师兄
08-07 4751
1.概述 首先在搞这个问题的时候 【Kafka】Kafka inter.broker.listener.name must be a listener name defined in advertised.listeners 启动Kafka报错 [2020-08-07 18:45:08,786] WARN [SocketServer brokerId=1] Unexpected error from localhost/127.0.0.1; closing connection (org.apache.k.
【问题】kafka.common.KafkaException: fetching topic metadata for topics
weixin_33921089的博客
11-09 1909
der for Set Flume部署在本地，Kafka集群部署在AWS云上。 解决办法 Consume端服务器配置/etc/hosts文件，其中机器名从要同Kafka服务端私有DNS名称相同（这个名称可以在报错信息中看到） 123.123.123.123 ip-192-168-110-4.cn-north-1.compute.internal ...
org.apache.kafka.common.errors.TimeoutException:Topic xxx not present in metadata after 60000ms.
qq_45003354的博客
05-31 1万+
1.发现问题：服务中向kafka的一个topic发送消息，报了这个错误 org.apache.kafka.common.errors.TimeoutException:Topic xxx not present in metadata after 60000ms. 2.排查思路：手动连接kafka,打开两个窗口一个向xxx这个topic发送消息，另一个看能否正常消费消息。 窗口1：执行发送消息命令 bin/kafka-console-producer.sh --broker-list 192.168.65
30个Kafka常见错误小集合
东城庞太师
08-06 1万+
本文是一个Kafka使用过程中的常见错误的总结。希望对你有帮助。 1、UnknownTopicOrPartitionException org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition 报错内容：分区数据不在 原因分析：producer向不存在的topic发送消息，用户可以检查topic是否存在 或者设置auto.creat
Caused by: org.apache.kafka.common.KafkaException: Failed to construct kafka consumer
weixin_36585549的博客
11-03 7551
遇到的问题 kafka使用kerberos安全认证后，我这边的消费程序需要修改。原本如果是普通的消费程序，加两行代码就行了： System.setProperty("java.security.auth.login.config", kafkaJaasPath); System.setProperty("java.security.krb5.conf", krb5Path); 但是我的程序是用spark streaming框架写的。原本在我的idea上跑local跑的好好的，结果一上到spark st
KafkaException：Fetching topic metadata with correlation id 0 for topics [Set(test)]
yyoc97的专栏
04-17 1万+
本地链接远程Kafka异常 远程机器fp-bd13搭建最新版Kafka （自带zookeeper），按照文档默认配置启动。远程新建producer和costumer一切正常。 本地spark链接： JavaPairReceiverInputDStream<String, String> kafkaStream =KafkaUtils ...
springkafka异常处理
07-28
在使用 Spring Kafka 进行消息处理时，可以通过以下几种方式来处理异常： 1. 使用 @KafkaListener 注解的 errorHandler 属性来指定错误处理器。可以创建一个实现了 KafkaListenerErrorHandler 接口的类，然后在该类中实现自定义的异常处理逻辑。例如： ```java @KafkaListener(topics = "topicName", errorHandler = "kafkaListenerErrorHandler") public void processMessage(String message) { // 处理消息 } @Bean public KafkaListenerErrorHandler kafkaListenerErrorHandler() { return (message, exception) -> { // 异常处理逻辑 return null; // 返回值可以用于发送错误消息到其他主题 }; } ``` 2. 使用 @KafkaListener 注解的 errorChannel 属性来指定错误通道。可以创建一个实现了 MessageChannel 接口的通道，然后在该通道中定义消息处理的错误流程。例如： ```java @KafkaListener(topics = "topicName", errorChannel = "kafkaErrorChannel") public void processMessage(String message) { // 处理消息 } @Bean public MessageChannel kafkaErrorChannel() { return new DirectChannel(); } @Bean public IntegrationFlow errorHandlingFlow() { return IntegrationFlows.from("kafkaErrorChannel") .handle((payload, headers) -> { // 异常处理逻辑 return null; // 返回值可以用于发送错误消息到其他主题 }) .get(); } ``` 3. 在 KafkaTemplate 发送消息时，使用 ListenableFuture 对象获取发送结果，并通过回调函数处理异常。例如： ```java ListenableFuture<SendResult<String, String>> future = kafkaTemplate.send(topic, message); future.addCallback(new ListenableFutureCallback<SendResult<String, String>>() { @Override public void onSuccess(SendResult<String, String> result) { // 发送成功的处理逻辑 } @Override public void onFailure(Throwable ex) { // 发送失败的处理逻辑 } }); ``` 以上是几种常用的处理 Spring Kafka 异常的方式，根据具体的业务需求选择适合的方法进行异常处理。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值