KafkaException:Fetching topic metadata with correlation id 0 for topics [Set(test)]

原创 2018年04月17日 11:32:31

本地链接远程Kafka异常

远程机器fp-bd13搭建最新版Kafka (自带zookeeper),按照文档默认配置启动。远程新建producer和costumer一切正常。
本地spark链接:

JavaPairReceiverInputDStream<String, String> kafkaStream =KafkaUtils
                                    .createStream(jssc,"fp-bd13:2181", "0", topicMap);

测试出现:

[ ERROR ]  fetching topic metadata for topics [Set(test)] from broker 
[ArrayBuffer(id:0,host:localhost,port:9092)] failed 
kafka.common.KafkaException: 
Fetching topic metadata with correlation id 0 for topics [Set(test)] 
from broker [BrokerEndPoint(0,localhost,9092)] failed 
(kafka.client.ClientUtils$) 

看到这个日志觉得有点奇怪,为什么会有localhost,我们配置的明明是fp-bd13的zookeeper,但是9092的端口是kafka所监听的。从而想到可能是链接kafka的配置存在问题。 kafka_2.11-1.1.0/config/server.propertieslisteners 属性默认是 localhost:9092 ,由于远程链接localhost并不是本机,所以这里需要制定下我们IP和端口:listeners=PLAINTEXT://fp-bd13:9092 。然后重启 kafka 再运用spark应用就能成功链接了。

成功后我们在远程创建一个生产者,用来传递消息给spark应用:

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

执行命令后却不停的警告:

[2018-04-17 10:08:48,158] WARN [Producer clientId=console-producer] Connection to node -1 could not be established. 
Broker may not be available. (org.apache.kafka.clients.NetworkClient)

意思是没有客户端链接这个生产者,发消息本地应用也收不到。之前远程测试又是没问题的,从而想到又是网络问题。这里我们要修改--broker-listfp-bd13:9092。然后就没有警告了。

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/yyoc97/article/details/79972434

WARN Fetching topic metadata with correlation id 955 for topics [Set(test3)] from broker [BrokerEndP

生产消息 打开消费控制台查看消息命令----- ./bin/kafka-console-consumer.sh --zookeeper zk1:2181 --topic test1 --from-b...
  • zhangxihangzhuan
  • zhangxihangzhuan
  • 2016-03-09 14:19:09
  • 5665

kafka入门1-集群生产消息

./kafka-console-producer.sh --broker-list localhost:9092 --topic topic1,报下面的错 [2014-12-02 14:16:21,...
  • cglThk
  • cglThk
  • 2014-12-02 15:51:47
  • 6441

Linux安装kafka 分布式

下载kafka,地址:http://kafka.apache.org/downloads.html选择Binary downloads下载 上传到linux并解压 $ tar -zxvf kafka...
  • itjavaer
  • itjavaer
  • 2015-06-16 15:18:03
  • 6752

【storm kafka】RROR fetching topic metadata for topics [Set(order)] from broker [ArrayBuffer(id:0,host

错误信息如下: 3864318 96724 141 92 0 2014-09-13 7529584 79828 729 31 0 2014-09-13 9052481 95904 2...
  • seven_zhao
  • seven_zhao
  • 2015-04-20 16:18:12
  • 3454

Kafka系列2-producer和consumer报错

1. 使用127.0.0.1启动生产和消费进程: 1)启动生产者进程: bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092...
  • kuluzs
  • kuluzs
  • 2016-06-03 11:39:00
  • 30009

kafka报错: Error while fetching metadata with correlation id 121622 : {yqjp-devices-insertOrUpdateDevi

三点kafka集群,正常运行半年后报错:Error while fetching metadata with correlation id 121622 : {xxxxxxxxx=LEADER_NOT...
  • qq_40809549
  • qq_40809549
  • 2018-03-29 11:07:57
  • 335

kafka 报错分析

kafka 更新版本之后报错如下:2015-12-02 15:14:12 [ pool-1-thread-2:4217697 ] - [ ERROR ] Failed to collate mes...
  • keep_learn
  • keep_learn
  • 2015-12-04 14:47:08
  • 5791

Kafka常用工具

1. 创建topic kafka-topics --zookeeper datanode01.isesol.com:2181,datanode01.isesol.com:2181,datanode...
  • tom_fans
  • tom_fans
  • 2017-07-20 12:48:45
  • 160

kafka发布消息报错LEADER_NOT_AVAILABLE

报错信息$ bin/kafka-console-producer.sh --broker-list="192.168.1.100:32785" --topic test ssss [2016-05-1...
  • BoomHankers
  • BoomHankers
  • 2018-01-17 19:34:06
  • 1214
收藏助手
不良信息举报
您举报文章:KafkaException:Fetching topic metadata with correlation id 0 for topics [Set(test)]
举报原因:
原因补充:

(最多只允许输入30个字)