centos7 kafka搭建集群的两种方式zookeeper+kraft

ddq呀

已于 2024-04-21 19:49:48 修改

阅读量105

点赞数 2

文章标签： kafka zookeeper 分布式

于 2024-04-21 14:29:40 首次发布

本文链接：https://blog.csdn.net/m0_53465512/article/details/138031616

版权

################################################需要的压缩包###########################################
1.准备好apache-zookeeper-3.8.4-bin.tar.gz
2.准备好kafka_2.13-3.7.0.tgz
3.准备好jdk-8u401-linux-x64.tar.gz

##################################################zookeeper###########################################
1.将apache-zookeeper-3.8.4-bin.tar.gz上传到任意目录并将其解压到/usr/local
2.进入zk解压文件目录的conf目录下，复制zoo_sample.cfg并重命名zoo.cfg
3.进入zk解压目录的bin目录下，执行 sh ./zkServer.sh start & 即可让zk在后台启动
4.将kafka_2.13-3.7.0.tgz上传到任意目录，并将其解压到/usr/local并拷贝三份重新命名为kafka_2.13-3.7.0-9091，kafka_2.13-3.7.0-9092，kafka_2.13-3.7.0-9093
5.修改的配置文件如下：
	kafka_2.13-3.7.0-9091/config/server.properties:
		broker.id=1
		listeners=PLAINTEXT://:9091
		advertised.listeners=PLAINTEXT://${宿主机地址}:9091
		log.dirs=/tmp/kafka-logs-9091
	kafka_2.13-3.7.0-9092/config/server.properties:
		broker.id=2
		listeners=PLAINTEXT://:9092
		advertised.listeners=PLAINTEXT://${宿主机地址}:9092
		log.dirs=/tmp/kafka-logs-9092
	kafka_2.13-3.7.0-9093/config/server.properties:
		broker.id=3
		listeners=PLAINTEXT://:9093
		advertised.listeners=PLAINTEXT://${宿主机地址}:9093
		log.dirs=/tmp/kafka-logs-9093
6.分别在kafka_2.13-3.7.0-9091，kafka_2.13-3.7.0-9092，kafka_2.13-3.7.0-9093目录下执行
	sh ./bin/kafka-server-start.sh ./config/server.properties &
7.在springboot application.yml中，配置如下：
	bootstrap-servers: ${宿主机地址}:9091,${宿主机地址}:9092,${宿主机地址}:9093
8.至此springboot就连接上了zookeeper版的kafka集群了

####################################################kraft#############################################
1.将kafka_2.13-3.7.0.tgz上传到任意目录，并将其解压到/usr/local并拷贝三份重新命名为kafka_2.13-3.7.0-9091，kafka_2.13-3.7.0-9092，kafka_2.13-3.7.0-9093
2.修改的配置文件如下：
	kafka_2.13-3.7.0-9091/config/kraft/server.properties:
		node.id=1
		controller.quorum.voters=1@localhost:9081,2@localhost:9082,3@localhost:9083
		listeners=PLAINTEXT://:9091,CONTROLLER://:9081
		advertised.listeners=PLAINTEXT://${宿主机地址}:9091
		log.dirs=/tmp/kraft-combined-logs-9091
	kafka_2.13-3.7.0-9092/config/kraft/server.properties:
		node.id=2
		controller.quorum.voters=1@localhost:9081,2@localhost:9082,3@localhost:9083
		listeners=PLAINTEXT://:9092,CONTROLLER://:9082
		advertised.listeners=PLAINTEXT://${宿主机地址}:9092
		log.dirs=/tmp/kraft-combined-logs-9092
		
	kafka_2.13-3.7.0-9093/config/kraft/server.properties:
		node.id=3
		controller.quorum.voters=1@localhost:9081,2@localhost:9082,3@localhost:9083
		listeners=PLAINTEXT://:9093,CONTROLLER://:9083
		advertised.listeners=PLAINTEXT://${宿主机地址}:9093
		log.dirs=/tmp/kraft-combined-logs-9093
3.先进入其中一台，假设是kafka_2.13-3.7.0-9091，在此目录下执行sh ./bin/kafka-storage.sh random-uuid，得到一个${uuid}字符串(此uuid只需要获取一次就行，因为这个是集群id)
4.拿着第3步得到的字符串，分别在kafka_2.13-3.7.0-9091，kafka_2.13-3.7.0-9092，kafka_2.13-3.7.0-9093目录下执行：
	sh ./bin/kafka-storage.sh format -c ./config/kraft/server.properties -t ${uuid}
	sh ./bin/kafka-server-start.sh ./config/kraft/server.properties
5.在springboot application.yml中，配置如下：
	bootstrap-servers: ${宿主机地址}:9091,${宿主机地址}:9092,${宿主机地址}:9093
6.至此springboot就连接上了zookeeper版的kafka集群了