kafka集群部署

1、下载kafka安装包

cd /home

mkdir kafka

cd kafka

wget https://dlcdn.apache.org/kafka/3.1.0/kafka-3.1.0-src.tgz 需要编译

wget https://dlcdn.apache.org/kafka/3.1.0/kafka_2.12-3.1.0.tgz 本人下载的是

2、解压

tar -zxvf kafka-3.1.0-src.tgz

mv kafka-3.1.0-src kafka

3、进去kafka文件夹的config目录下，并编辑server.properties

修改broker.id=num,集群kafka的num都需要是独一无二的，相当于id不可重复(例如，broker.id=0,broker=1等等，你有几个kafka就这样累积下去不要出现重复就行)

修改listeners = PLAINTEXT://your.host.name:9092 中的ip为当前kafka所在的服务器的ip

修改一下日志文件的存储位置(位置放在你已存在的目录下，不一定要跟我这个一致)

修改zookeeper集群的连接地址为你自己的zookeeper集群地址

4、修改完成之后，保存退出，进入到kafka的bin目录下，执行以下命令来启动kafka

sh kafka-server-start.sh ../config/server.properties

5、拷贝到另外两台服务器

cd /home/kafka

tar -zcf kafka.tar.gz kafka

scp kafka.tar.gz root@lmb2:/home/kafka

scp kafka.tar.gz root@lmb3:/home/kafka

按照步骤来执行，一般不会出错，如果出现错误，可能是zk集群地址不对，或者是broker.id的值没有修改导致出现3台重复的broker，

这里只给出kafka集群中一个kafka的配置步骤，其他的kafka搭建过程和这个是一样的，重复的步骤就不多写了，没什么区别，只需要修改listeners = PLAINTEXT://your.host.name:9092和broker.id即可，其他一样，不管集群有几个kafka，都是一样的配置，如果zookeeper集群不会搭建可以看我上一篇文章zookeeper集群部署_卖酒的工程师的博客-CSDN博客_zookeeper 集群部署

6、操作指南

6.1 创建topic

cd /home/kafka/kafka

bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test