kafka listeners 和 advertised.listeners 的区别及应用

文章目录

• 特别说明
• • • listeners
    • advertised.listeners
• 介绍区别
• 什么场景用到
• • • 只有内网
    • 内外网
• 客户端连接kafka集群流程

 

特别说明

kafka 0.9.x以后的版本新增了advertised.listeners配置
kafka 0.9.x以后的版本不要使用 advertised.host.name 和 advertised.host.port 已经deprecated
host.name 和 port 为 deprecated，使用listeners代替

listeners

listeners: Listener List - Comma-separated list of URIs we will listen on and the listener names. If the listener name is not a security protocol, listener.security.protocol.map must also be set. Specify hostname as 0.0.0.0 to bind to all interfaces. Leave hostname empty to bind to default interface. Examples of legal listener lists: PLAINTEXT://myhost:9092,SSL://:9091 CLIENT://0.0.0.0:9092,REPLICATION://localhost:9093
Type: stringDefault: nullValid Values: Importance: highUpdate Mode: per-broker

advertised.listeners

advertised.listeners: Listeners to publish to ZooKeeper for clients to use, if different than the listeners config property. In IaaS environments, this may need to be different from the interface to which the broker binds. If this is not set, the value for listeners will be used. Unlike listeners it is not valid to advertise the 0.0.0.0 meta-address.
Type: stringDefault: nullValid Values: Importance: highUpdate Mode: per-broker

介绍区别

在公司内网部署 kafka 集群只需要用到 listeners，内外网需要作区分时 才需要用到advertised.listeners。

那么先看看文字类描述：

• listeners: 学名叫监听器，其实就是告诉外部连接者要通过什么协议访问指定主机名和端口开放的 Kafka 服务。 advertised.listeners：和 listener相比多了个
• advertised。Advertise的含义表示宣称的、公布的，就是组监听器是 Broker 用于对外发布的。

比如说：

listeners=INSIDE://172.17.0.10:9092,OUTSIDE://<公网 ip>:端口
advertised.listeners=INSIDE://172.17.0.10:9092,OUTSIDE://<公网 ip>:端口
listener.security.protocol.map=INSIDE:SASL_PLAINTEXT,OUTSIDE:SASL_PLAINTEXT
inter.broker.listener.name=INSIDE

advertised_listeners 监听器会注册在 zookeeper 中；

当我们对 172.17.0.10:9092 请求建立连接，kafka 服务器会通过 zookeeper 中注册的监听器，找到 INSIDE 监听器，然后通过 listeners 中找到对应的 通讯 ip 和 端口；

同理，当我们对 <公网 ip>:端口 请求建立连接，kafka 服务器会通过 zookeeper 中注册的监听器，找到 OUTSIDE 监听器，然后通过 listeners 中找到对应的 通讯 ip 和 端口 172.17.0.10:9094；

总结：advertised_listeners 是对外暴露的服务端口，真正建立连接用的是 listeners。

什么场景用到

只有内网

比如在公司搭建的 kafka 集群，只有内网中的服务可以用，这种情况下，只需要用 listeners 就行

listeners=<协议名称>://<内网ip>:<端口>

• 例如：

listeners=SASL_PLAINTEXT://192.168.0.4:9092

内外网

在 docker 中或者 在类似阿里云主机上部署 kafka 集群，这种情况下是 需要用到 advertised_listeners。

以 docker 为例：

listeners=INSIDE://0.0.0.0:9092,OUTSIDE://<公网 ip>:端口(或者 0.0.0.0:端口)
advertised.listeners=INSIDE://localhost:9092,OUTSIDE://<宿主机ip>:<宿主机暴露的端口>
listener.security.protocol.map=INSIDE:SASL_PLAINTEXT,OUTSIDE:SASL_PLAINTEXT
kafka_inter_broker_listener_name:inter.broker.listener.name=INSIDE

客户端连接kafka集群流程

listeners=INSIDE://0.0.0.0:9092,OUTSIDE://0.0.0.0:8092(<公网 ip>:端口)
advertised.listeners=INSIDE://127.0.0.1:9092,OUTSIDE://hostname:8092(<公网 ip>:端口)

consumer或者producer客户端通过 listeners 的 OUTSIDE 连接上kafka集群，
然后通过kafka集群到zookeeper集群寻找 topic partition 的leader，如下：

get /kafka/brokers/topics/test.1/partitions/0/state
{“controller_epoch”:1,“leader”:11,“version”:1,“leader_epoch”:0,“isr”:[11]}

再通过leader id 去寻找 leader 中的endpoints（即发布到ZK中的advertised.listeners参数，供client使用）

get /kafka/brokers/ids/11
{“listener_security_protocol_map”:{“INSIDE”:“PLAINTEXT”,“OUTSIDE”:“PLAINTEXT”},“endpoints”:[“INSIDE://127.0.0.1:9092”,“OUTSIDE://hostname:8092”],“jmx_port”:-1,“host”:“127.0.0.1”,“timestamp”:“1587019055745”,“port”:9092,“version”:4}

告诉kafka客户端要通过什么协议访问指定主机名和端口开放的Kafka服务

实例：

# The address the socket server listens on. It will get the value returned from 
# java.net.InetAddress.getCanonicalHostName() if not configured.
#   FORMAT:
#     listeners = listener_name://host_name:port
#   EXAMPLE:
listeners = PLAINTEXT://0.0.0.0:9092
#listeners=PLAINTEXT://:9092

# Hostname and port the broker will advertise to producers and consumers. If not set, 
# it uses the value for "listeners" if configured.  Otherwise, it will use the value
# returned from java.net.InetAddress.getCanonicalHostName().
advertised.listeners=PLAINTEXT://公网iP:9092
 

参考：
Kafka-Listener配置参数、配置公网访问以及可能出现的问题
kafka - advertised.listeners and listeners
彻底明白ip地址，区分localhost、127.0.0.1和0.0.0.0