kafka3.2集群搭建

1.解压kafka安装包

# 下载 kafka_2.13-3.2.0.tgz，解压
tar -zxvf  /opt/softwares/kafka_2.13-3.2.0.tgz -C /opt/modules
# 配置环境变量
vi /etc/profile
# kafka环境变量
export KAFKA_HOME=/opt/modules/kafka_2.13-3.2.0
export PATH=$KAFKA_HOME/bin:$PATH
# 配置生效
## 标题source /etc/profile

2.修改配置文件

# 修改配置文件server.properties
vi /opt/modules/kafka_2.13-3.2.0/config/server.properties 
修改server.properties内容：

	# 三台服务器都要配置 
	# Hadoop-Master为 broker.id=0，Hadoop-Slaver01为 broker.id=1，Hadoop-Slaver02为 broker.id=2

 
	# 三台服务器都要配置，各服务器写各自的主机名称
	listeners=PLAINTEXT://Hadoop-Master:9092
	advertised.listeners=PLAINTEXT://Hadoop-Master:9092
 
	# 三台服务器都要配置，log.dirs 路径自己配，但是文件夹一定要存在，不会自己生成，如果路径不存在启动会报错。
	在opt/modules/kafka_2.13-3.2.0下创建logs文件夹
	log.dirs=opt/modules/kafka_2.13-3.2.0/logs
 
	#三台服务器都要配置， topic 允许删除配置
	delete.topic.enable=true
 
	# 三台服务器都要配置，三台服务器都一样
	zookeeper.connect=Hadoop-Master:2181,Hadoop-Slaver01:2181,Hadoop-Slaver02:2181
	zookeeper.connection.timeout.ms=1800
	group.initial.rebalance.delay.ms=3

3.启动验证

启动：kafka-server-start.sh -daemon /opt/modules/kafka_2.13-3.2.0/config/server.properties
停止：kafka-server-stop.sh -daemon /opt/modules/kafka_2.13-3.2.0/config/server.properties
启动成功后，jps 查看，有kafka进程则启动成功。（三台服务器都启动）

测试一下，在Hadoop-Master服务器上创建一个topic为test，然后生产几条信息——
# 创建topic
[root@Hadoop-Master bin]# ./kafka-topics.sh --create --bootstrap-serverHadoop-Master:9092 --replication-factor 1 --partitions 1 --topic test

# 查看topic list
[root@Hadoop-Master bin]# ./kafka-topics.sh --bootstrap-server Hadoop-Master:9092 --list

# 控制台生产消息

[root@Hadoop-Master bin]# ./kafka-console-producer.sh --broker-list Hadoop-Master:9092 --topic test
>hello
>world

# 控制台消费消息
在另一台Hadoop-Slaver01机器上，开启消费者控制台，监听test的topic，发现可以收到数据——
[root@Hadoop-Slaver01bin]# ./kafka-console-consumer.sh --bootstrap-server Hadoop-Slaver01:9092  --topic test --from-beginning
hello
word