问题描述:
使用阿里云服务器,安装kafka,在学习过程中 使用java api 通过公网ip 连接kafka过程中 ,生产者和消费者无法连接 kafka broker 并且Java 报错
Caused by: org.apachekafka.common.errors.TimeoutException: Topic first not present in metadata after 60000 ms
![在这里插入图片描述](https://img-blog.csdnimg.cn/973c5e3705bc493b929bad5d24307e88.png)
public class KafkaCustomProducer {
public static void main(String[] args) throws ExecutionException, InterruptedException, TimeoutException {
//配置
Properties properties = new Properties();
properties.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "39.105.151.222:9092");
//value序列化类型
properties.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
properties.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
//创建kafka生产者对象
KafkaProducer<String, String> kafkaProducer = new KafkaProducer(properties);
// //有回调
kafkaProducer.send(new ProducerRecord<>("first", "hello"), (metadata, exception) -> {
if (exception == null) {
System.out.println("回调完成" + "分区" + metadata.partition() + "主题" + metadata.topic());
}});
kafkaProducer.close();
}}
原因分析:
经过检查代码并无错误,并且通过抓包 代码已经访问到 9092端口,并且建立了tcp连接,最后定位问题在 kafka 没有监听到公网ip:9092端口的消息
最后种我们将问题定位在 kafka config
目录下的server.properties
文件中
advertised.listeners
和 listeners
的配置上面
解决方案:
advertised.listeners:
它和listeners类似,该参数也是用于发布给clients的监听器,不过该参数主要用于外部环境,比如云上的机器通常都配有多块网卡(私网网卡和公网网卡。对于这种机器,用户可以设置该参数绑定公网IP供外部clients使用,同时配置listeners来绑定私网IP供broker间通信使用。
listeners:
绑定的是默认网卡,而默认网卡通常都是绑定私网IP的,单网卡情况下只配置改参数即可。在实际使用场景中,对于配有多块网卡的机器而言,需要配合advertised.listeners 使用,如果不配置advertised.listeners云上的机器很容易出现clients无法获取数据的问题,
broker.id=0
#此处是内网地址
listeners=PLAINTEXT://172.31.172.28:9092
#此处填写公网IP地址
advertised.listeners=PLAINTEXT://39.105.151.122:9092
在次运行java api