k8s部署kafka：Socket server failed to bind to kafka.tygzmh:9092: Cannot assign requested address.

Geray-zsg

已于 2022-11-23 19:38:55 修改

阅读量1.3k

点赞数

分类专栏： k8s kafka 云原生文章标签： kafka kubernetes 大数据

于 2022-11-23 19:32:06 首次发布

本文链接：https://blog.csdn.net/Entity_G/article/details/128006085

版权

云原生同时被 3 个专栏收录

23 篇文章 0 订阅

订阅专栏

k8s

11 篇文章 0 订阅

订阅专栏

kafka

2 篇文章 0 订阅

订阅专栏

1、背景

项目上要求kafka中间件都要上云，构建镜像后按照本地化部署的方式部署发现无法无法正常启动：Socket server failed to bind to kafka.tygzmh:9092: Cannot assign requested address.（套接字服务器未能绑定到kafka。tygzmh:9092:无法分配请求的地址。）

kafka版本：2.13-2.8.1
zookeeper使用该版本中内置

报错信息如下
配置如下

2、原因

错误在于绑定侦听器。 KAFKA_LISTENERS对于容器中部署是不正确的。所有代理属性都应以开头。
此外，应该设置KAFKA_CFG_LISTENERS使用 IP0.0.0.0来接受所有接口上的所有流量

修改配置文件

broker.id=1
listeners=SASL_PLAINTEXT://:9092  # 容器中添加的认证这里不需要设置任何IP信息，其他版本尚不确定
advertised.listeners=SASL_PLAINTEXT://kafka.tygzmh:9092
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.enabled.mechanisms=PLAIN
sasl.mechanism.inter.broker.protocol=PLAIN
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
allow.everyone.if.no.acl.found=true
num.network.threads=3
num.io.threads=8
socket.send.buffer.bytes=102400
socket.receive.buffer.bytes=102400
socket.request.max.bytes=419430400
log.dirs=/tmp/kafka-logs
num.partitions=1
num.recovery.threads.per.data.dir=1
offsets.topic.replication.factor=1
transaction.state.log.replication.factor=1
transaction.state.log.min.isr=1
log.retention.hours=168
log.segment.bytes=1073741824
log.retention.check.interval.ms=300000
zookeeper.connect=zookeeper.tygzmh:2181
zookeeper.connection.timeout.ms=18000
group.initial.rebalance.delay.ms=0

3、结论

在k8s容器中使用sasl认证部署时，listeners使用 IP：0.0.0.0来接受所有接口上的所有流量

4、小技巧

部署小技巧： 这里使用环境变量来动态设置jvm参数随pod资源限制变化，同时也可以控制是否使用sasl认证

KAFKA_HEAP_OPTS=-XX:+UseContainerSupport -XX:InitialRAMPercentage=75.0 -XX:MaxRAMPercentage=75.0 -Djava.security.auth.login.config=/opt/kafka/kafka_server_jaas.conf