Kafka问题锦集

1、kafka公网内网访问实现

有以下两种方式:
1)需要本地配置长域名映射后可以正常访问端口为9092,也可以之间ip+端口(9092)

listeners=PLAINTEXT://kafka-hostname:9092 
advertised.listeners=PLAINTEXT://kafka-hostname:9092
listener.security.protocol.map=PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL,EXTERNAL:PLAINTEXT,INTERNAL:PLAINTEXT,SASL_EXTERNAL:SASL_PLAINTEXT,SASL_INTERNAL:SASL_PLAINTEXT,SASL_SSL_EXTERNAL:SASL_SSL,SASL_SSL_INTERNAL:SASL_SSL,SSL_INTERNAL:SSL,SSL_EXTERNAL:SSL
inter.broker.listener.name=PLAINTEXT

2)公网访问需要使用9093端口

isteners=INTERNAL://内网ip:9092,EXTERNAL://内网ip:9093
advertised.listeners=INTERNAL://内网ip:9092,EXTERNAL://外网ip:9093
listener.security.protocol.map=PLAINTEXT:PLAINTEXT,SSL:SSL,SASL_PLAINTEXT:SASL_PLAINTEXT,SASL_SSL:SASL_SSL,EXTERNAL:PLAINTEXT,INTERNAL:PLAINTEXT,SASL_EXTERNAL:SASL_PLAINTEXT,SASL_INTERNAL:SASL_PLAINTEXT,SASL_SSL_EXTERNAL:SASL_SSL,SASL_SSL_INTERNAL:SASL_SSL,SSL_INTERNAL:SSL,SSL_EXTERNAL:SSL
inter.broker.listener.name=INTERNAL

2、kafka节点扩容

需要手动进行rebalance topic
均衡一般对正常的生产消费没有影响,但是均衡会占用带宽,如果Kafka流量很大会对生产消费有影响。

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
您好!要搭建 Kafka 的高可用集群,您需要进行以下步骤: 1. 安装并配置 ZooKeeper:Kafka 使用 ZooKeeper 来管理集群的元数据和协调功能。您需要安装 ZooKeeper 并配置其集群模式。确保 ZooKeeper 集群正常运行,并且具有足够的容错性。 2. 下载和解压 Kafka:从 Apache Kafka 的官方网站下载并解压最新版本的 Kafka。 3. 配置 Kafka:在每个 Kafka 节点上,编辑 Kafka 的配置文件 `config/server.properties`。确保以下配置项正确设置: - `broker.id`:每个节点的唯一标识。 - `listeners`:指定 Kafka 监听的主机和端口。 - `log.dirs`:指定 Kafka 存储日志文件的目录。 - `zookeeper.connect`:指定连接到 ZooKeeper 集群的地址。 4. 启动 Kafka 节点:在每个节点上,使用命令行启动 Kafka 服务器。您可以使用以下命令: ``` bin/kafka-server-start.sh config/server.properties ``` 5. 创建 Kafka Topic:使用 Kafka 提供的命令行工具 `kafka-topics.sh` 创建您需要的主题。 6. 配置副本:为了实现高可用性,您需要为每个主题配置多个副本。使用 `kafka-topics.sh` 工具来创建多个副本。 7. 测试集群:使用 Kafka 提供的命令行工具发送和接收消息,来测试您的 Kafka 集群是否正常工作。 这些是搭建 Kafka 高可用集群的基本步骤。请注意,在生产环境中搭建高可用集群时,还需要考虑更多因素,如数据备份、监控和故障恢复等。希望对您有所帮助!如果您有任何进一步的问题,请随时问我。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值