Kafka 伪集群模式 安装

一、安装准备

• 下载Kafka：CentOS 7 下载 安装 Kafka
• 安装JDK：CentOS 7 下载 安装 JDK
  
• 安装Zookeeper：Zookeeper 单机模式 安装
  

---

二、Kafka伪集群模式

A、创建log目录：

mkdir -p /data/data/kafka/log_1
mkdir -p /data/data/kafka/log_2
mkdir -p /data/data/kafka/log_3

B、拷贝多份配置文件

cd /data/opt/kafka_2.12-2.3.0

cp ./config/server.properties ./config/server_1.properties
cp ./config/server.properties ./config/server_1.properties
cp ./config/server.properties ./config/server_1.properties

• /data/opt/kafka_2.12-2.3.0/config/server_1.properties

  # kafka集群唯一标识
  broker.id=1
  
  # broker监听IP和端口也可以是域名
  listeners=PLAINTEXT://127.0.0.1:9092
  
  # 端口号
  port=9092
  # 日志存放
  log.dirs=/data/data/kafka/log_1
  
  # zookeeper 地址和端口,多个地址 , 隔开
  # zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182
  zookeeper.connect=127.0.0.1:2181
  
  # 可删除 topic
  delete.topic.enable=true
  

• /data/opt/kafka_2.12-2.3.0/config/server_2.properties

  # kafka集群唯一标识
  broker.id=2
  
  # broker监听IP和端口也可以是域名
  listeners=PLAINTEXT://127.0.0.1:9093
  
  # 端口号
  port=9093
  # 日志存放
  log.dirs=/data/data/kafka/log_2
  
  # zookeeper 地址和端口,多个地址 , 隔开
  # zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182
  zookeeper.connect=127.0.0.1:2181
  
  # 可删除 topic
  delete.topic.enable=true
  

• /data/opt/kafka_2.12-2.3.0/config/server_3.properties

  # kafka集群唯一标识
  broker.id=3
  
  # broker监听IP和端口也可以是域名
  listeners=PLAINTEXT://127.0.0.1:9094
  
  # 端口号
  port=9094
  # 日志存放
  log.dirs=/data/data/kafka/log_3
  
  # zookeeper 地址和端口,多个地址 , 隔开
  # zookeeper.connect=127.0.0.1:2181,127.0.0.1:2182
  zookeeper.connect=127.0.0.1:2181
  
  # 可删除 topic
  delete.topic.enable=true
  

C、配置Kafka环境变量

vim  /etc/profile 

# Kafka环境变量
export KAFKA_HOME=/data/opt/kafka_2.12-2.3.0
export PATH=$KAFKA_HOME/bin:$PATH

D、Kafka环境变量生效

source /etc/profile

E、运行Kafka伪集群

cd /data/opt/kafka_2.12-2.3.0

./bin/kafka-server-start.sh ./config/server_1.properties &
./bin/kafka-server-start.sh ./config/server_2.properties &
./bin/kafka-server-start.sh ./config/server_3.properties &

F、测试Kafka伪集群

• 创建topic

  cd /data/opt/kafka_2.12-2.3.0
  
  # 先创建一个topic  现在我们创建一个具有三份副本、两个划分partitions的主题
  ./bin/kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 3 --partitions 2 --topic tmpTopic
  

  
• 显示topic信息

  ./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic testTopic
  

  
• 查看topic列表

  ./bin/kafka-topics.sh --list --zookeeper localhost:2181
  

  
• 查看Zookeeper节点信息

  ls /brokers/ids
  

  
• 启动生产者

  ./bin/kafka-console-producer.sh --broker-list 127.0.0.1:9092,127.0.0.1:9093 --topic tmpTopic
  

  
• 启动消费者

  ./bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic testTopic
  

  
• 测试生产者消费者
  
  

G、关闭Kafka伪集群

---

https://blog.csdn.net/hudyang/article/details/80419214

4.3删除节点
bin/kafka-topics.sh --delete --zookeeper 192.168.94.132:2181,192.168.94.132:2182,192.168.94.132:2183 --topic test

(四)关闭集群服务

删除topic

bin/kafka-topics.sh --delete --zookeeper 192.168.94.132:2181,192.168.94.132:2182,192.168.94.132:2183 --topic test

关闭kafka

[root@worker2 kafka_2.12-1.1.0]$ bin/kafka-server-stop.sh conf/server-1.properties

[root@worker2 kafka_2.12-1.1.0]$ bin/kafka-server-stop.sh conf/server-2.properties

[root@worker2 kafka_2.12-1.1.0]$ bin/kafka-server-stop.sh conf/server-3.properties

关闭zookeeper

[root@master zookeeper-3.4.11]$ bin/zkServer.sh stop conf/zoo1.cfg

[root@worker1 zookeeper-3.4.11]$ bin/zkServer.shstop conf/zoo2.cfg

[root@worker2 zookeeper-3.4.11]$ bin/zkServer.shstop conf/zoo3.cfg=