kafka 报错分析

最新推荐文章于 2024-06-07 15:30:02 发布
最新推荐文章于 2024-06-07 15:30:02 发布
阅读量1.2w 收藏 1
点赞数
分类专栏： bigdata 文章标签： kafka
版权所有，非授权下，禁止任何形式转载。
本文链接：https://blog.csdn.net/keep_learn/article/details/50175003
版权

kafka 更新版本之后报错如下：

2015-12-02 15:14:12  [ pool-1-thread-2:4217697 ] - [ ERROR ]  Failed to collate messages by topic, partition due to: fetching topic metadata for topics [Set(test)] from broker [ArrayBuffer(id:0,host:172.16.4.214,port:9092)] failed
2015-12-02 15:14:12  [ pool-1-thread-5:4217707 ] - [ ERROR ]  Producer connection to 172.16.4.214:9092 unsuccessful
java.net.ConnectException: Connection refused: connect
    at sun.nio.ch.Net.connect0(Native Method)
    at sun.nio.ch.Net.connect(Net.java:435)
    at sun.nio.ch.Net.connect(Net.java:427)
    at sun.nio.ch.SocketChannelImpl.connect(SocketChannelImpl.java:643)
    at kafka.network.BlockingChannel.connect(Unknown Source)
    at kafka.producer.SyncProducer.connect(Unknown Source)
    at kafka.producer.SyncProducer.getOrMakeConnection(Unknown Source)
    at kafka.producer.SyncProducer.kafka$producer$SyncProducer$$doSend(Unknown Source)
	at kafka.producer.SyncProducer.send(Unknown Source)
	at kafka.client.ClientUtils$.fetchTopicMetadata(Unknown Source)
	at kafka.producer.BrokerPartitionInfo.updateInfo(Unknown Source)
	at kafka.producer.async.DefaultEventHandler$$anonfun$handle$2.apply$mcV$sp(Unknown Source)
    at kafka.utils.Utils$.swallow(Unknown Source)
    at kafka.utils.Logging$class.swallowError(Unknown Source)
    at kafka.utils.Utils$.swallowError(Unknown Source)
    at kafka.producer.async.DefaultEventHandler.handle(Unknown Source)
    at kafka.producer.Producer.send(Unknown Source)
    at kafka.javaapi.producer.Producer.send(Unknown Source)
    at com.hta.webmagic.pipeline.TestKafkaPipeline.KafkaProducer(TestKafkaPipeline.java:42)
    at com.hta.webmagic.pipeline.TestKafkaPipeline.process(TestKafkaPipeline.java:35)
    at us.codecraft.webmagic.Spider.processRequest(Spider.java:439)
    at us.codecraft.webmagic.Spider$1.run(Spider.java:336)
    at us.codecraft.webmagic.thread.CountableThreadPool$1.run(CountableThreadPool.java:74)
    at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
    at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
    at java.lang.Thread.run(Thread.java:745)
2015-12-02 15:14:12  [ pool-1-thread-5:4217707 ] - [ ERROR ]  fetching topic metadata for topics [Set(test)] from broker [ArrayBuffer(id:0,host:172.16.4.214,port:9092)] failed
kafka.common.KafkaException: fetching topic metadata for topics [Set(test)] from broker [ArrayBuffer(id:0,host:172.16.4.214,port:9092)] failed
    at kafka.client.ClientUtils$.fetchTopicMetadata(Unknown Source)
    at kafka.producer.BrokerPartitionInfo.updateInfo(Unknown Source)
    at kafka.producer.async.DefaultEventHandler$$anonfun$handle$2.apply$mcV$sp(Unknown Source)
	at kafka.utils.Utils$.swallow(Unknown Source)
	at kafka.utils.Logging$class.swallowError(Unknown Source)
	at kafka.utils.Utils$.swallowError(Unknown Source)
	at kafka.producer.async.DefaultEventHandler.handle(Unknown Source)
	at kafka.producer.Producer.send(Unknown Source)
	at kafka.javaapi.producer.Producer.send(Unknown Source)
	at com.hta.webmagic.pipeline.TestKafkaPipeline.KafkaProducer(TestKafkaPipeline.java:42)
	at com.hta.webmagic.pipeline.TestKafkaPipeline.process(TestKafkaPipeline.java:35)
	at us.codecraft.webmagic.Spider.processRequest(Spider.java:439)
	at us.codecraft.webmagic.Spider$1.run(Spider.java:336)
	at us.codecraft.webmagic.thread.CountableThreadPool$1.run(CountableThreadPool.java:74)
	at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1142)
	at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:617)
	at java.lang.Thread.run(Thread.java:745)
Caused by: java.net.ConnectException: Connection refused: connect
	at sun.nio.ch.Net.connect0(Native Method)
	at sun.nio.ch.Net.connect(Net.java:435)
	at sun.nio.ch.Net.connect(Net.java:427)
	at sun.nio.ch.SocketChannelImpl.connect(SocketChannelImpl.java:643)
	at kafka.network.BlockingChannel.connect(Unknown Source)
	at kafka.producer.SyncProducer.connect(Unknown Source)
	at kafka.producer.SyncProducer.getOrMakeConnection(Unknown Source)
	at kafka.producer.SyncProducer.kafka$producer$SyncProducer$$doSend(Unknown Source)
    at kafka.producer.SyncProducer.send(Unknown Source)
    ... 17 more

网上都是说配置文件出问题的，还有建议删除log 目录

经研究解决办法如下：
先看版本

旧版本：kafka_2.10-0.8.2.2
基本上就是server.xml 配置问题，保证hostname 和zookeer 的IP地址正确

报错表现：可以看到topicList
可以新建topic

不能正常接收、发送消息

新版本：kafka_2.10-0.9.0.0
最后报错最可能是hosts 文件配置问题，需要配置好对应关系
这点和clouder 的集群安装类似
然后再检查server.xml 配置文件

新版本 报错表现：
本地命令行可以正常的发送、接收消息，Eclipse 和远程机器无法发送消息。

hamish-wu
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Flink读取kafka数据报错
QYHuiiQ
07-04 2920
【代码】Flink读取kafka数据报错。
Flink sql 写ddl连接kafka
weixin_44777314的博客
11-08 3077
flink sql 连接kafka 的DDL语句和提交 java.lang.NoClassDefFoundError: org/apache/kafka/clients/consumer/OffsetResetStrategy Recovery is suppressed by NoRestartBackoffTimeStrategy
flink 从kafka读取数据报错
rookiewpj的博客
08-17 1969
这个依赖,还加了多余的kafkaclient依赖;
axios请求类型是bolb或arraybuffer，显示报错信息的方法
最新发布
weixin_42776027的博客
06-07 187
如请求类型为arraybuffer时。如请求类型为bolb时。
【Flink 从 Kafka 读取数据报错】
g5guj的博客
04-01 1368
Caused by: java.lang.NoSuchMethodError: org.apache.kafka.clients.admin.DescribeTopicsResult.allTopicNames()Lorg/apache/kafka/common/KafkaFuture;
跟我学Kafka源码Producer分析
小程故事多
12-25 228
本章主要讲解分析Kafka的Producer的业务逻辑，分发逻辑和负载逻辑都在Producer中维护。   一、Kafka的总体结构图 (图片转发）   二、Producer源码分析   class Producer[K,V](val config: ProducerConfig, private val eventHandler: ...
kafka_exporter-1.6.0.linux-amd64.tar.gz
09-06
通过Kafka Exporter，你可以轻松地将Kafka的指标集成到Prometheus中，以便进行性能分析、故障排查和整体集群健康状况的监控。 描述中的"centos"表明该软件包可能适用于CentOS操作系统，这是一款基于RHEL（Red Hat ...
日制分析项目
11-22
7. Kafka和Zookeeper集群的安装：文档中还涉及了Kafka集群的安装，并且在Kafka集群安装过程中遇到了Zookeeper进程启动正常，状态显示报错的问题，随后提供了问题的解决方案。 8. Flume安装和使用：Flume是日志收集...
大数据日志分析实战
08-08
项目中讲述了Kafka集群的安装过程，并针对安装中遇到的问题提供了分析和解决方案，例如zookeeper进程启动正常，状态显示报错问题。 Flume是Cloudera提供的一个分布式、可靠且可用的系统，用于有效地收集、聚合和...
KafkaOffsetMonitor0.4.6
01-26
Apache Kafka是一种分布式流处理平台，它被广泛应用于日志收集、流式数据处理、实时分析以及消息传递等场景。Kafka的核心概念包括生产者（Producer）、主题（Topic）、分区（Partition）和消费者（Consumer）。 - *...
build.gradle.zip
05-13
本案例中，我们关注的是一个名为"build.gradle.zip"的压缩包文件，它与Kafka项目以及解决`com.github.spotbugs`报错问题相关。下面，我们将深入探讨`build.gradle`文件的作用，Kafka项目的配置，以及如何处理`...
kafka单机不能发送信息和消费消息
silcon_csdn的博客
04-29 8917
zookeeper和kafaka服务0.8版本以后默认是不需要配置的，但是本文遇到了一种要修改配置的情形。 终端A开启zookeeper和kafaka服务后 发送消息 bin/kafka-console-producer.sh --broker-list localhost:9092--topic tpc 终端B消费信息  bin/kafka-console-cons
使用java操作kafka订阅新增Topic踩坑
weixin_43956650的博客
04-02 5289
我面对的场景是：需要动态的订阅新增的topic。即在程序运行的时候轮询查看kafka服务器查看是否有符合规则的新的topic，如果有的话，把它加入到订阅列表。 第一种是使用spring-kafka自带注解 @KafkaListener的topicPattern参数，这里传入合适的正则表达式。然后程序本身就会去轮询（网上有代码使用，说测试的轮询时间是2min,但是我测试是5min,目前还没找到修改时间的地方）。这个正则跟普通要求的正则不太一样，比如不能使用* 开头。 //匹配 以test开头的topic,
flume连接kafka遇到ERROR - kafka.utils.Logging$class.error Producer connection to DEV33:9092 unsuccessful
十色花的博客
08-24 1652
1.下面这个问题挺坑的 (SinkRunner-PollingRunner-DefaultSinkProcessor) [ERROR - kafka.utils.Logging$class.error(Logging.scala:97)] Failed to collate messages by topic, partition due to: Failed to fetch topic ...
Linux下搭建kafka遇到的两个问题
qq_27707957的博客
05-19 2260
1.删除topic问题 在kafka的安装目录的bin目录下，执行命令 ./kafka-topics.sh --zookeeper localhost:2181 --delete --topic test test为之前创建的topic。 控制台打印出，如果delete.topic.enable未设置为true，则不会产生任何影响。 我们执行如下命令 ./kafka-topics....
30个Kafka常见错误小集合
热门推荐
东城庞太师
08-06 1万+
本文是一个Kafka使用过程中的常见错误的总结。希望对你有帮助。 1、UnknownTopicOrPartitionException org.apache.kafka.common.errors.UnknownTopicOrPartitionException: This server does not host this topic-partition 报错内容：分区数据不在 原因分析：producer向不存在的topic发送消息，用户可以检查topic是否存在 或者设置auto.creat
kafka单机不能发送信息和消费消息（转）
小蚯蚓的博客
11-20 1204
zookeeper和kafaka服务0.8版本以后默认是不需要配置的，但是本文遇到了一种要修改配置的情形。   终端A开启zookeeper和kafaka服务后 发送消息 bin/kafka-console-producer.sh --broker-list localhost:9092--topic tpc   终端B消费信息  bin/kafka-console-consumer...
flink消费kafka时topic partitions 和并行度间的分配源码详解
bradyM的博客
12-23 3565
引言 当我们消费kafka的一个topic时，我们知道kafka partition 是和我们设置的并行度是一一对应的； 也就是说，假如我们的topic有12个分区，那我们就设置12个并行度，这样每个并行度都能接收到数据且数据均匀； 那如果我们设置了15个并行度，那么就会有3个并行度是收不到数据的；这可以在web ui上，点开source operate 查看SubTasks的Bytes Sent，就可以发现，有三个SubTasks的Bytes Sent始终为0。 当我们消费kafka多个topic的时候，
如何捕获kafka报错信息
07-29
要捕获Kafka的报错信息，你可以通过使用Spring Kafka提供的错误处理器(Error Handler)来实现。下面是一种常见的处理方式： 1. 创建一个实现ErrorHandler接口的自定义错误处理器类，用于处理Kafka报错信息。 ```java import org.apache.kafka.clients.consumer.ConsumerRecord; import org.springframework.kafka.listener.ErrorHandler; import org.springframework.kafka.listener.ListenerExecutionFailedException; import org.springframework.kafka.support.Acknowledgment; import org.springframework.util.backoff.BackOff; import org.springframework.util.backoff.FixedBackOff; public class CustomErrorHandler implements ErrorHandler { @Override public void handle(Exception thrownException, ConsumerRecord<?, ?> record, Consumer<?, ?> consumer, MessageListenerContainer container) { // 捕获Kafka报错信息并进行处理 if (thrownException instanceof ListenerExecutionFailedException) { ListenerExecutionFailedException failedException = (ListenerExecutionFailedException) thrownException; // 获取异常的原因并进行相应的处理 Throwable cause = failedException.getCause(); if (cause != null) { // 处理异常信息 } } // 可以选择进行一些其他操作，如重试或记录错误日志 } @Override public void handle(Exception e, ConsumerRecord<?, ?> consumerRecord) { // 处理没有指定消费者和容器的情况 } @Override public void handle(Exception e, ConsumerRecord<?, ?> consumerRecord, Consumer<?, ?> consumer) { // 处理没有指定容器的情况 } @Override public void handle(Exception e, ConsumerRecord<?, ?> consumerRecord, Consumer<?, ?> consumer, String s) { // 处理没有指定容器和主题的情况 } } ``` 在上面的例子中，我们创建了一个CustomErrorHandler类来自定义错误处理。在handle方法中，我们可以捕获Kafka报错信息并进行相应的处理，如记录日志、重试等。 2. 在Kafka消费者配置中设置自定义错误处理器。 ```java @Configuration @EnableKafka public class KafkaConsumerConfig { @Bean public ConsumerFactory<String, String> consumerFactory() { // 创建ConsumerFactory配置... } @Bean public ConcurrentKafkaListenerContainerFactory<String, String> kafkaListenerContainerFactory() { ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<>(); factory.setConsumerFactory(consumerFactory()); // 设置自定义错误处理器 factory.setErrorHandler(new CustomErrorHandler()); return factory; } } ``` 在上面的例子中，我们通过设置ConcurrentKafkaListenerContainerFactory的setErrorHandler方法来指定使用自定义的错误处理器。 通过以上步骤，你就可以使用自定义的错误处理器来捕获Kafka的报错信息，并根据需要进行相应的处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值