kafka伪集群安装

一、zookeeper安装

在同一台服务器上，以不同端口（2181，2182，2183）运行三个zookeeper，形成一个伪集群

1. 下载安装包

   cd /opt/software
   wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.8.0/apache-zookeeper-3.8.0-bin.tar.gz
   

2. 解压安装包

   tar -zxvf zookeeper.tar.gz -C /opt/module/zookeeper/
   /opt/module/zookeeper
   mv apache-zookeeper-3.8.0-bin/ zookeeper-2181
   

3. 创建目录

   cd /opt/module/zookeeper/zookeeper-2181
   mkdir data logs
   

4. 修改配置文件

   cd /opt/module/zookeeper/zookeeper-2181/conf
   cp zoo_sample.cfg zoo.cfg
   

   修改dataDir，clientPort两个配置项

   dataDir=/opt/module/zookeeper/zookeeper-2181/data
   clientPort=2181
   

   并添加以下配置项

   dataLogDir=/opt/module/zookeeper/zookeeper-2181/logs
   server.1=localhost:2287:3387
   server.2=localhost:2288:3388
   server.3=localhost:2289:3389
   

   在data目录下创建myid文件

   cd /opt/module/zookeeper/zookeeper-2181/data
   vim myid
   

   在myid中指定节点id，在一个集群中不能重复。例如：将2181节点的id设置为1，2182节点设置为2，2183节点设置为3

5. 复制多个zookeeper

   cd /opt/module/zookeeper/
   cp -r zookeeper-2181 zookeeper-2182
   cp -r zookeeper-2181 zookeeper-2183
   

   修改conf/zoo.cfg配置文件中的配置，参考第4小节

6. 修改内存大小

   在各个节点的配置目录下，新增配置配置文件

   cd /opt/module/zookeeper/zookeeper-2181/conf
   vim zkEnv.sh
   

   添加以下内容

   #!/bin/sh
   export JVMFLAGS="-Xms100m -Xmx100m $JVMFLAGS"
   

7. 启动zookeper

   进入到每个zookeeper中，启动zookeeper

   cd /opt/module/zookeeper/zookeeper-2181
   ./bin/zkServer.sh start conf/zoo.cfg
   

8. 查看zookeeper运行状态

   for i in {1,2,3}; do sh /opt/module/zookeeper/zookeeper-218${i}/bin/zkServer.sh status; done
   

   查看某个节点的状态

   /opt/module/zookeeper/zookeeper-2181/bin/zkServer.sh status
   

二、kafka安装

在同一台服务器上，以不同的端口（9091，9092，9093）启动三个kafka节点，组成伪集群

1. 下载、解压安装包

   mkdir /opt/software/kafka
   cd /opt/software
   wget https://mirrors.tuna.tsinghua.edu.cn/apache/kafka/3.1.0/kafka_2.13-3.1.0.tgz
   tar -zxvf kafka_2.13-3.1.0.tgz /opt/module/kafka
   cd /opt/software/kafka
   mv kafka_2.13-3.1.0 kafka_9091
   

2. 新建目录

   mkdir -p /opt/module/kafka/kafka_9091/logs
   

3. 修改配置文件

   cd /opt/module/kafka/kafka_9091/conf
   

   修改配置文件server.properties

   broker.id=1
   listeners=PLAINTEXT://localhost:9091
   log.dirs=/opt/module/kafka/kafka_9091/logs
   zookeeper.connect=localhost:2181,localhost:2182,localhost:2183
   

   • broker.id：节点id，在同一个集群中，不能重复
   • listeners：节点监听的端口，在同一台机器上，也不能相同
   • log.dris：存储数据的位置
   • zookeeper.connect：zookeeper集群的连接地址

4. 复制多个kafka

   cd /opt/module/kafka/
   cp -r kafka_9091 kafka_9092
   cp -r kafka_9091 kafka_9093
   

   复制完成后，根据第三小节，修改配置项

5. 修改内存大小

   在各个节点下，修改脚本文件

   cd /opt/module/kafka/kafka_9091/bin
   vim kafka-server-start.sh
   

   修改配置项KAFKA_HEAP_OPTS

   export KAFKA_HEAP_OPTS="-Xmx200M -Xms200M"
   

6. 启动kafka

   进入kafka的各个节点安装目录

   cd /opt/module/kafka/kafka_9091
   

   启动kafka

   ./bin/kafka-server-start.sh -daemon config/server.properties 
   

   关闭kafka

   ./bin/kafka-server-stop.sh 
   

7. 检查kafka

   查询kafka的topic信息

   ./bin/kafka-topics.sh --bootstrap-server localhost:9091,localhost:9092,localhost:9093 --list