kafka 集群搭建

1. 集群环境

  • Zookeeper 版本: https://dlcdn.apache.org/zookeeper/zookeeper-3.7.0/apache-zookeeper-3.7.0-bin.tar.gz
  • kafka 版本: https://dlcdn.apache.org/kafka/3.1.0/kafka_2.13-3.1.0.tgz
机器集群节点ipOS
vm0zk0、broker010.23.243.224CentOS Linux release 8.4.2105
vm1zk1、broker110.23.147.1CentOS Linux release 8.4.2105
vm2zk2、broker210.23.126.115CentOS Linux release 8.4.2105

2. 步骤

2.1 搭建 zookeeper 集群

2.2 搭建 kafka 集群

1)下载解压
mkdir -p /root/kafka && cd /root/kafka
wget https://dlcdn.apache.org/kafka/3.1.0/kafka_2.13-3.1.0.tgz
tar -xzvf kafka_2.13-3.1.0.tgz 
cd kafka_2.13-3.1.0/
2)修改配置

拷贝 kafka 目录到另外两台机器上,分别进入 config 目录修改配置文件 server.properties,修改如下

  • broker0

    broker.id=0									 							    # 集群中 broker 节点的唯一标识
    listeners=PLAINTEXT://10.23.243.224:9092      # 内网监听地址与端口
    advertised.listeners=PLAINTEXT://{{eip}}:9092 # 外网监听地址与端口,{{eip}} 为机器外网 ip
    log.dirs=/root/kafka/kafka_2.13-3.1.0/data    # 消息存放位置,非 kafka 自身运行日志
    zookeeper.connect=10.23.243.224:2181,10.23.147.1:2181,10.23.126.115:2181 # zookeeper 地址
    
  • broker1

    broker.id=1 																  # 集群中 broker 节点的唯一标识
    listeners=PLAINTEXT://10.23.147.1:9092        # 内网监听地址与端口
    advertised.listeners=PLAINTEXT://{{eip}}:9092 # 外网监听地址与端口,{{eip}} 为机器外网 ip
    log.dirs=/root/kafka/kafka_2.13-3.1.0/data    # 消息存放位置,非 kafka 自身运行日志
    zookeeper.connect=10.23.243.224:2181,10.23.147.1:2181,10.23.126.115:2181 # zookeeper 地址
    
  • Broker2

    broker.id=2 																  # 集群中 broker 节点的唯一标识
    listeners=PLAINTEXT://10.23.126.115:9092      # 内网监听地址与端口
    advertised.listeners=PLAINTEXT://{{eip}}:9092 # 外网监听地址与端口,{{eip}} 为机器外网 ip
    log.dirs=/root/kafka/kafka_2.13-3.1.0/data    # 分区数据存放位置,非 kafka 自身运行日志
    zookeeper.connect=10.23.243.224:2181,10.23.147.1:2181,10.23.126.115:2181 # zookeeper 地址
    
3)启动集群
  • 在三台机器上使用一下命令分别启动 kafka

     cd /root/kafka/kafka_2.13-3.1.0/ && bin/kafka-server-start.sh config/server.properties
    

3. 验证使用

  • 创建 topic

    bin/kafka-topics.sh --create --bootstrap-server 10.23.243.224:9092 --replication-factor 3 --partitions 1 --topic mytopic
    
  • 查看 topic

    bin/kafka-topics.sh --describe --bootstrap-server 10.23.243.224:9092   --topic mytopic
    

    在这里插入图片描述

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
要Windows上搭建Kafka集群,你需要按照以下步骤进行操作: 1. 下载Kafka安装包并解压缩。你可以在中找到Windows下的安装包和详细教程。 2. 配置Zookeeper集群。Kafka依赖于Zookeeper进行集群管理。你可以在Kafka安装目录下的config文件夹中找到zookeeper.properties文件。打开该文件并配置Zookeeper集群的地址和端口。 3. 配置Kafka集群。你可以在Kafka安装目录下的config文件夹中找到server.properties文件。打开该文件并根据需要进行配置,比如监听地址、端口等。 4. 启动Zookeeper集群。可以使用命令行或者批处理文件启动Zookeeper集群。在命令行中执行"zookeeper-server-start.bat"命令,指定zookeeper.properties文件的路径,就可以启动Zookeeper集群。 5. 启动Kafka集群。使用命令行或者批处理文件启动Kafka集群。在命令行中执行"kafka-server-start.bat"命令,指定server.properties文件的路径,就可以启动Kafka集群。 6. 验证Kafka集群是否正常工作。你可以在命令行中执行"kafka-topics.bat --list --bootstrap-server localhost:9092"命令,验证是否能够列出Kafka集群中的主题。 这样,你就成功在Windows上搭建了Kafka集群。希望这些步骤对你有帮助!<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* [专栏大数据中windows下搭建kafka集群中需要用到的安装包](https://download.csdn.net/download/abc8125/86250322)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* *3* [Windows下Kafka集群搭建](https://blog.csdn.net/HcJsJqJSSM/article/details/126752143)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值