kafka+zookeeper集群部署

kafka+zookeeper集群部署

为了实现高可用，高吞吐量，kafka以集群方式部署，分別在3台服务器上安裝部署，因kafka依赖于zookeeper，如果想要使用Kafka，就必须安装ZK，Kafka中的消费偏置信息、kafka集群、topic信息会被存储在ZK中。

环境准备

三台机器

1. 192.168.189.129

2. 192.168.189.130

3. 192.168.189.131

首先三台机器进行初始化设置，关闭防火墙，关闭seLinux，关闭默认java环境，配置新的java环境；此处使用的是centos 7 -1551的镜像文件创建的虚拟机

初始化

setenfore 0
vim /etc/selinux/config
	SELINUX=disabled
systemctl stop firewalld.service
iptables -F
iptables -X

删除默认java环境

java -version      #查询系统java版本
rpm -qa|grep java
java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64
javapackages-tools-3.4.1-11.el7.noarch
java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64
tzdata-java-2015g-1.el7.noarch
java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64
java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64


rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64 java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64 java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64 java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64

java -version      #此时没有java版本

安装新的java环境

此时创建两个放压缩包和解压文件的目录并下载新的java安装包拷入机器

mkdir /opt/{softsare,module}
cd /opt/software
ls
jdk-17_linux-x64_bin.tar.gz
tar -zxvf jdk-17_linux-x64_bin.tar.gz -C /opt/module    #解压
vim /etc/profile										#配置环境变量
    #java_home
    export JAVA_HOME=/opt/module/jdk
    export CLASSPATH=.:$JAVA_HOME/lib
    export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/lib:$PATH
source /etc/profile

java -version
	java version "17.0.2" 2022-01-18 LTS

配置zookeeper

首先需要下载kafka的包，这里下载的是3.1版本kafka_2.12-3.1.0.tgz

tar -zxvf kafka_2.12-3.1.0.tgz -C /opt/module     #解压
cd /opt/module/kafka_2.12-3.1.0
mkdir kafka_logs_1								#创建kafka日志目录
mkdir zkdata									#创建zk数据目录
vim /opt/module/kafka_2.12-3.1.0/config/zookeeper.properties   #编辑zk配置文件
	dataDir=/opt/module/kafka_2.12-3.1.0/zkdata             #zk日志目录

    clientPort=2181											#端口

    maxClientCnxns=0
    TickTime=2000
    initLimit=10
    syncLimit=5


    server.0=192.168.189.129:2888:3888                     #集群ip此处的server.0数字是唯一机器标识与后面的myid对应
    server.1=192.168.189.130:2888:3888
    server.2=192.168.189.131:2888:3888

写入myid

cd /opt/module/kafka_2.12-3.1.0/zkdata
echo 0 >myid                                               #后两台机器myid是1和2

配置kafka

cd /opt/module/kafka_2.12-3.1.0/config
vim server.properties
	broker.id=0												#与myid对应

	advertised.listeners=PLAINTEXT://192.168.189.129:9092   #本机IP
	
	num.network.threads=3									
	
	log.dirs=/opt/module/kafka_2.12-3.1.0/kafka_logs_1      #日志目录
	
	num.partitions=3										#与集群机器数量对应
	
	log.retention.hours=24									#日志保存市场
	
	zookeeper.connect=192.168.189.129:2181,192.168.189.130:2181,192.168.189.131:2181  #集群机器ip

启动

启动kafka需要先启动zookeeper；而停掉kafka的话后停zookeeper。

cd /opt/module/kafka_2.12-3.1.0
nohup bin/zookeeper-server-start.sh config/zookeeper.properties >logs/zookeeper.log 2>1 &   #后台启动zk
nohup bin/kafka-server-start.sh config/server.properties > kafka_logs_1/kafka.log 2>1 &     #后台启动kafka

之后观察日志，输出无报错即成功