配置kafka容器访问ip踩坑

最新推荐文章于 2024-03-12 15:00:09 发布

jazon@

最新推荐文章于 2024-03-12 15:00:09 发布

阅读量2k

点赞数 1

分类专栏：杂文章标签：网络 kafka

本文链接：https://blog.csdn.net/xjzzon/article/details/116098406

版权

本文介绍了配置Kafka容器访问IP时遇到的问题及其解决办法。在内外网区分的场景下，确保客户端能够根据消息哈希值访问正确网络的Kafka broker。详细讨论了127.0.0.1、0.0.0.0、localhost和本机IP在监听时的区别，并提供了使用wireshark抓包的注意事项。

摘要由CSDN通过智能技术生成

配置kafka容器访问ip踩坑

这是分配kafka内外网访问的方法

# 通过任意IP的9003访问的定义为OUTSIDE，任意IP9002访问的定义为INSIDE
listeners=OUTSIDE://:9093,INSIDE://:9092 
# 连上Kafka之后,Broker会根据outside还是inside返回对应的值,也就是配置里的
advertised.listeners=OUTSIDE://<外网IP>,INSIDE://<内网IP>:9092
# OUTSIDE,INSIDE映射协议,OUTSIDE和INSIDE只是一个标志,可以替换为任意其他，只需要映射即可
listener.security.protocol.map=INSIDE:PLAINTEXT,OUTSIDE:PLAINTEXT
inter.broker.listener.name=INSIDE

考虑一个场景:

如果有内外网之分，内网client连接Kafka使用9002（即使配置了多个broker,它只会连接某个broker的9092），由此该broker确定了此client使用的是内网，这样子，要让client去连接其他broker时(client经常需要根据消息的hash值取访问不同的broker的)，就会返回该broker的INSIDE地址，这样子就解决了当client需要访问其他broker时,拿到的是适合自己网络的IP。如果不这么做，那么client就没办法访问到其他broker了。