kafka报错

kafka报错

报错信息一：

启动Kafka出现The Cluster ID doesn’t match stored clusterId错误

需要删除在kafka路径下面的logs里面的meta.properties，这是因为 cluster.id 不匹配

报错信息二：

ERROR org.apache.kafka.common.errors.InvalidReplicationFactorException: Replication factor: 2 larger than available brokers: 1.
(kafka.admin.TopicCommand$)

出现这个错误可以去查看kafka下面的 advertised 后面的ip是否匹配
还有 zookeeper后是否加后缀 在这里面zookeeper后面加了/kafka 因此在创建topic的时候要将这段加进去

加入之后就可以创建啦

解释：
advertised.listeners 的作用是告知 Kafka 服务器在与客户端通信时应使用的网络地址，这对于 Kafka 集群的部署和连接十分重要。

具体来说，advertised.listeners 配置项指定了 Kafka 服务器向外部公开的监听地址，使得外部客户端可以通过该地址连接 Kafka 集群并进行消息传递。如果没有正确设置 advertised.listeners，则可能会导致外部客户端无法连接 Kafka 集群，从而无法进行数据的传递和处理。

例如，在一个分布式系统中，可能会存在多个 Kafka 集群，其位于不同的网络环境中。此时，可以使用 advertised.listeners 来告知客户端应该连接哪一个 Kafka 集群，并在集群之间进行数据交换。

此外，advertised.listeners 还可以用于实现安全访问控制，例如使用 SSL 或 SASL 进行加密和认证，以保护 Kafka 集群的数据安全。

因此，正确配置 advertised.listeners 是 Kafka 部署和使用的重要组成部分，可以确保 Kafka 集群能够可靠地与外部客户端进行通信，并保障数据传输的安全性。

测试

*在完全分布式下启动kafka需要先启动zookeeper在启动三个集群，在依次启动三个kafka

kafka-server-start.sh config/server.properties

1. 创建一个topic

   [root@master ~]# kafka-topics.sh --create --bootstrap-server master:9092,slave1:9092,slave2:9092 --topic hello --partitions 1 --replication-factor 2
   

   查看创建的topic

   
   [root@master ~]# kafka-topics.sh --list --zookeeper master:2181,slave1:2181,slave2:2181
   hello
   

2. 在master上创建一个生产者

   [root@master ~]# kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic hello
   >hello kafka
   >
   

3. 在slave1上创建消费者

   [root@slave1 ~]# kafka-console-consumer.sh --topic hello --from-beginning --bootstrap-server master:9092,slave2:9092,slave1:9092
   
   hello kafka