kafka报错ClosedChannelException

最新推荐文章于 2022-11-03 09:58:25 发布
最新推荐文章于 2022-11-03 09:58:25 发布
阅读量1.1k 收藏
点赞数
分类专栏： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bb23417274/article/details/83182711
版权

● 开启kafka生产者写入数据时报错
报错如下：

[root@localhost bin]# ./kafka-console-producer.sh --broker-list 192.168.0.21:9092 --topic ws
[2018-10-19 10:47:42,502] WARN Property topic is not valid (kafka.utils.VerifiableProperties)
1
[2018-10-19 10:49:00,654] WARN Fetching topic metadata with correlation id 0 for topics [Set(ws)] from broker [id:0,host:192.168.0.21,port:9092] failed (kafka.client.ClientUtils$)
java.nio.channels.ClosedChannelException
	at kafka.network.BlockingChannel.send(BlockingChannel.scala:100)
	at kafka.producer.SyncProducer.liftedTree1$1(SyncProducer.scala:73)
	at kafka.producer.SyncProducer.kafka$producer$SyncProducer$$doSend(SyncProducer.scala:72)
	at kafka.producer.SyncProducer.send(SyncProducer.scala:113)
	at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:58)
	at kafka.producer.BrokerPartitionInfo.updateInfo(BrokerPartitionInfo.scala:82)
	at kafka.producer.async.DefaultEventHandler$$anonfun$handle$1.apply$mcV$sp(DefaultEventHandler.scala:67)
	at kafka.utils.Utils$.swallow(Utils.scala:172)
	at kafka.utils.Logging$class.swallowError(Logging.scala:106)
	at kafka.utils.Utils$.swallowError(Utils.scala:45)
	at kafka.producer.async.DefaultEventHandler.handle(DefaultEventHandler.scala:67)
	at kafka.producer.async.ProducerSendThread.tryToHandle(ProducerSendThread.scala:105)
	at kafka.producer.async.ProducerSendThread$$anonfun$processEvents$3.apply(ProducerSendThread.scala:88)
	at kafka.producer.async.ProducerSendThread$$anonfun$processEvents$3.apply(ProducerSendThread.scala:68)
	at scala.collection.immutable.Stream.foreach(Stream.scala:594)
	at kafka.producer.async.ProducerSendThread.processEvents(ProducerSendThread.scala:67)
	at kafka.producer.async.ProducerSendThread.run(ProducerSendThread.scala:45)
[2018-10-19 10:49:00,657] ERROR fetching topic metadata for topics [Set(ws)] from broker [ArrayBuffer(id:0,host:192.168.0.21,port:9092)] failed (kafka.utils.Utils$)
kafka.common.KafkaException: fetching topic metadata for topics [Set(ws)] from broker [ArrayBuffer(id:0,host:192.168.0.21,port:9092)] failed
	at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:72)
	at kafka.producer.BrokerPartitionInfo.updateInfo(BrokerPartitionInfo.scala:82)
	at kafka.producer.async.DefaultEventHandler$$anonfun$handle$1.apply$mcV$sp(DefaultEventHandler.scala:67)
	at kafka.utils.Utils$.swallow(Utils.scala:172)
	at kafka.utils.Logging$class.swallowError(Logging.scala:106)
	at kafka.utils.Utils$.swallowError(Utils.scala:45)
	at kafka.producer.async.DefaultEventHandler.handle(DefaultEventHandler.scala:67)
	at kafka.producer.async.ProducerSendThread.tryToHandle(ProducerSendThread.scala:105)
	at kafka.producer.async.ProducerSendThread$$anonfun$processEvents$3.apply(ProducerSendThread.scala:88)
	at kafka.producer.async.ProducerSendThread$$anonfun$processEvents$3.apply(ProducerSendThread.scala:68)
	at scala.collection.immutable.Stream.foreach(Stream.scala:594)
	at kafka.producer.async.ProducerSendThread.processEvents(ProducerSendThread.scala:67)
	at kafka.producer.async.ProducerSendThread.run(ProducerSendThread.scala:45)
Caused by: java.nio.channels.ClosedChannelException
	at kafka.network.BlockingChannel.send(BlockingChannel.scala:100)
	at kafka.producer.SyncProducer.liftedTree1$1(SyncProducer.scala:73)
	at kafka.producer.SyncProducer.kafka$producer$SyncProducer$$doSend(SyncProducer.scala:72)
	at kafka.producer.SyncProducer.send(SyncProducer.scala:113)
	at kafka.client.ClientUtils$.fetchTopicMetadata(ClientUtils.scala:58)
	... 12 more

● 解决方法：

找到kafka配置server.properties文件，
#修改host.name=真实ip
host.name=192.168.0.21
zookeeper.connect=192.168.0.21:2181
念念不忘_
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
正确解决java.nio.channels.ClosedChannelException异常的有效解决方法
wbajsjhhhhh的博客
05-13 2216
正确解决java.nio.channels.ClosedChannelException异常的有效解决方法
消费kafka报java.nio.channels.ClosedChannelException
qq_41139341的博客
12-07 2791
首先，问题已解决，重新梳理思路，侧重阐述整个过程、问题解决方案。 前言 在业务划分+技术迭代的背景下，需要重新进行日志收集，即服务日志存储到hdfs。 一、流程图 基于下图可知，此次迭代的变更点，主要是kafka的消息生产。 升级Kubernetes容器，主要原因：极致弹性的资源扩缩。 主要执行步骤如下： 申请kafka、增加topic 申请sls 申请logstash、安装插件 t-streaming平台部署脚本 网络加白 a. sls 与 logstash b. logstash 与 kafka
kafka 的 ClosedChannelException
keyuquan的博客
12-13 2485
场景： kafka 版本kafka_2.10-0.8.1.1 ，spark任务刚开始正常运行，一段时间后，报下面的错误，但是数据准确性不影响，只是严重拖慢了实时任务   [Stage 46825:=========================================>             (3 + 1) / 4]17/11/04 23:14:23 WARN
Kafka Java访问Kafka时报错 java.nio.channels.ClosedChannelException
一只菜鸡
08-10 737
在idea上运行，发现一直报错 Exception in thread “main” org.apache.spark.SparkException: java.nio.channels.ClosedChannelException 然后我检查进程发现kafka的这些进程没有起，并且怎么起都没法启动 查看日志文件 查看日志文件后发现，发现是文件IO异常， 检查后发现是自己的日志文件这个目录是...
kafka ClosedChannelException
amanda_shuidi的博客
08-30 321
kafka ClosedChannelException    本人遇到的这个异常，是由于当前消费端服务器没有配置zk和kafka的主机名。 在 /etc/hosts 里配置上zk和kakfa的主机名就不好报错了 ...
Kafka异常 java.nio.channels.ClosedChannelException
wk022的专栏
12-09 1万+
java.nio.channels.ClosedChannelException at kafka.network.BlockingChannel.send(BlockingChannel.scala:110) at kafka.consumer.SimpleConsumer.liftedTree1$1(SimpleConsumer.scala:98) at kafka.consumer.Simp...
kafka-3.5.1
09-27
开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，版本为3.5.1，Scala版本2.13;开源软件kafka_2.13-3.5.1版本，仅供学习安装，不可用做其他用途，建议直接在官网进行下载，...
Maven项目整合Kafka
03-12
使用Maven整合Kafka 包括生产者，消费者 Kafka各种配置 //1.设置参数 Properties props = new Properties(); props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "81.68.232.188:9092,81.68.232.188:9093,81...
kafka kafka kafka kafka
05-05
Kafka是一种分布式流处理平台，由LinkedIn开发并开源，后来成为了Apache软件基金会的顶级项目。它的设计目标是处理大规模实时数据，提供高吞吐量、低延迟的消息传递能力。Kafka通常被用作一个消息队列，允许应用程序...
kafka2.3.0 linux版本
最新发布
11-10
**Kafka 2.3.0 Linux 版本详解** Apache Kafka是一款开源的分布式流处理平台，由LinkedIn开发并贡献给Apache软件基金会。Kafka主要设计目标是提供高吞吐量、低延迟的消息发布与订阅服务，同时也支持数据持久化和...
kafka kafka kafka kafka kafka
12-18
Kafka 概述与架构 Kafka 是一种流行的消息队列系统，广泛应用于构建实时数据管道和流媒体应用程序。它具有水平扩展、容错、高速运行等特点，已经在数千家公司的生产环境中运行。 架构概述 Kafka 的架构主要由三个...
sparkStreaming+kafka SparkException: java.nio.channels.ClosedChannelException异常报错
阿楠的博客
09-09 1457
在运行sparkStreaming+kafka的时候报错 java io报错， 如果broker-list的端口不对或者kafka服务端未启动，会遇到以下错误： Exception in thread "main" org.apache.spark.SparkException: java.nio.channels.ClosedChannelException at org.apach...
[已解决]java.nio.channels.ClosedChannelException报错
New_Man8的博客
11-03 3368
解决java.nio.channels.ClosedChannelException报错
ClosedChannelException
1006346386@qq.com
06-02 2563
遗留问题：在secureCRT上跑spark代码时偶尔会报错：ClosedChannelException 错误信息：17/05/26 17:34:09 INFO YarnClientSchedulerBackend: Stopped 17/05/26 17:34:09 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpo
踩坑java.nio.channels.ClosedChannelException后台异常
热门推荐
山月风成的博客
04-20 10万+
踩坑java.nio.channels.ClosedChannelException后台异常
Error reactor.netty.ReactorNetty$InternalNettyException: java.nio.channels.ClosedChannelException
进击的小白
05-30 4101
现象 使用Spring Cloud Gateway时，在线上偶尔出现异常，但是很少且很难复现。 在压测的最后几条日志也会出现，当时没有放在心上，线上是不是会有error告警，故此花时间研究一番。 [4eee5339] Error [reactor.netty.ReactorNetty$InternalNettyException: java.nio.channels.ClosedChannelException] for HTTP GET "/xxx", but ServerHttpResponse
DUBBO Caused by: java.nio.channels.ClosedChannelException
luojinbai的专栏
02-19 9114
[WARN ] 2016-02-19 09:39:57,735 --> [dubbo-remoting-client-heartbeat-thread-2] com.alibaba.dubbo.remoting.exchange.support.header.HeartBeatTask.run(HeartBeatTask.java:84): [DUBBO] Exception when heart
java.nio.channels.ClosedChannelException解决办法
Loobeeke的博客
08-24 3万+
java.nio.channels.ClosedChannelException解决办法 ·遇到错误java.nio.channels.ClosedChannelException无限弹出，要考虑两种原因 第一种： 用户一直F5刷新城你导致服务端 解决： 一：限流 二：让服务端在写数据之前判断一下channel是否已关闭。 代码如下： if (!channel.isConnected()) { if (logger.isWarnEnabled()) { logger.war
local模式连接kafka出现org.apache.spark.SparkException:java.nio.channels.ClosedChannelException错误
reedom1991的博客
04-13 1327
所用软件版本： spark2.3.0 kafka 1.10 IDEA2019.1(spark-streaming-kafka-0-8-2.11-2.3.0) 在做spark streaming用kafka进行监控本地文件，用IDEA2019.1进行编译的时候，一直弹出the thread "main" org.apache.spark.SparkException:java...
如何捕获kafka报错信息
07-29
要捕获Kafka的报错信息，你可以通过使用Spring Kafka提供的错误处理器(Error Handler)来实现。下面是一种常见的处理方式： 1. 创建一个实现ErrorHandler接口的自定义错误处理器类，用于处理Kafka报错信息。 ```java import org.apache.kafka.clients.consumer.ConsumerRecord; import org.springframework.kafka.listener.ErrorHandler; import org.springframework.kafka.listener.ListenerExecutionFailedException; import org.springframework.kafka.support.Acknowledgment; import org.springframework.util.backoff.BackOff; import org.springframework.util.backoff.FixedBackOff; public class CustomErrorHandler implements ErrorHandler { @Override public void handle(Exception thrownException, ConsumerRecord<?, ?> record, Consumer<?, ?> consumer, MessageListenerContainer container) { // 捕获Kafka报错信息并进行处理 if (thrownException instanceof ListenerExecutionFailedException) { ListenerExecutionFailedException failedException = (ListenerExecutionFailedException) thrownException; // 获取异常的原因并进行相应的处理 Throwable cause = failedException.getCause(); if (cause != null) { // 处理异常信息 } } // 可以选择进行一些其他操作，如重试或记录错误日志 } @Override public void handle(Exception e, ConsumerRecord<?, ?> consumerRecord) { // 处理没有指定消费者和容器的情况 } @Override public void handle(Exception e, ConsumerRecord<?, ?> consumerRecord, Consumer<?, ?> consumer) { // 处理没有指定容器的情况 } @Override public void handle(Exception e, ConsumerRecord<?, ?> consumerRecord, Consumer<?, ?> consumer, String s) { // 处理没有指定容器和主题的情况 } } ``` 在上面的例子中，我们创建了一个CustomErrorHandler类来自定义错误处理。在handle方法中，我们可以捕获Kafka报错信息并进行相应的处理，如记录日志、重试等。 2. 在Kafka消费者配置中设置自定义错误处理器。 ```java @Configuration @EnableKafka public class KafkaConsumerConfig { @Bean public ConsumerFactory<String, String> consumerFactory() { // 创建ConsumerFactory配置... } @Bean public ConcurrentKafkaListenerContainerFactory<String, String> kafkaListenerContainerFactory() { ConcurrentKafkaListenerContainerFactory<String, String> factory = new ConcurrentKafkaListenerContainerFactory<>(); factory.setConsumerFactory(consumerFactory()); // 设置自定义错误处理器 factory.setErrorHandler(new CustomErrorHandler()); return factory; } } ``` 在上面的例子中，我们通过设置ConcurrentKafkaListenerContainerFactory的setErrorHandler方法来指定使用自定义的错误处理器。 通过以上步骤，你就可以使用自定义的错误处理器来捕获Kafka的报错信息，并根据需要进行相应的处理。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值