kafka listeners 和 advertised.listeners 的区别及应用

kafka listeners 和 advertised.listeners 的区别及应用

只有内网
比如在公司搭建的 kafka 集群，只有内网中的服务可以用，这种情况下，只需要用 listeners 就行

listeners=<协议名称>://<内网ip>:<端口>

例如：

listeners=SASL_PLAINTEXT://192.168.0.4:9092

内外网
在 docker 中或者 在类似阿里云主机上部署 kafka 集群，这种情况下是 需要用到 advertised_listeners。

以 docker 为例：

listeners=INSIDE://0.0.0.0:9092,OUTSIDE://<公网 ip>:端口(或者 0.0.0.0:端口)
advertised.listeners=INSIDE://localhost:9092,OUTSIDE://<宿主机ip>:<宿主机暴露的端口>
listener.security.protocol.map=INSIDE:SASL_PLAINTEXT,OUTSIDE:SASL_PLAINTEXT
kafka_inter_broker_listener_name:inter.broker.listener.name=INSIDE

客户端连接kafka集群流程

listeners=INSIDE://0.0.0.0:9092,OUTSIDE://0.0.0.0:8092(<公网 ip>:端口)
advertised.listeners=INSIDE://127.0.0.1:9092,OUTSIDE://hostname:8092(<公网 ip>:端口)

consumer或者producer客户端通过 listeners 的 OUTSIDE 连接上kafka集群，
然后通过kafka集群到zookeeper集群寻找 topic partition 的leader，如下：

get /kafka/brokers/topics/test.1/partitions/0/state
{“controller_epoch”:1,“leader”:11,“version”:1,“leader_epoch”:0,“isr”:[11]}

再通过leader id 去寻找 leader 中的endpoints（即发布到ZK中的advertised.listeners参数，供client使用）

get /kafka/brokers/ids/11
{“listener_security_protocol_map”:{“INSIDE”:“PLAINTEXT”,“OUTSIDE”:“PLAINTEXT”},“endpoints”:[“INSIDE://127.0.0.1:9092”,“OUTSIDE://hostname:8092”],“jmx_port”:-1,“host”:“127.0.0.1”,“timestamp”:“1587019055745”,“port”:9092,“version”:4}

告诉kafka客户端要通过什么协议访问指定主机名和端口开放的Kafka服务