kafka+zookeeper集群部署
为了实现高可用,高吞吐量,kafka以集群方式部署,分別在3台服务器上安裝部署,因kafka依赖于zookeeper,如果想要使用Kafka,就必须安装ZK,Kafka中的消费偏置信息、kafka集群、topic信息会被存储在ZK中。
环境准备
三台机器
-
192.168.189.129
-
192.168.189.130
-
192.168.189.131
首先三台机器进行初始化设置,关闭防火墙,关闭seLinux,关闭默认java环境,配置新的java环境;此处使用的是centos 7 -1551的镜像文件创建的虚拟机
初始化
setenfore 0
vim /etc/selinux/config
SELINUX=disabled
systemctl stop firewalld.service
iptables -F
iptables -X
删除默认java环境
java -version #查询系统java版本
rpm -qa|grep java
java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64
javapackages-tools-3.4.1-11.el7.noarch
java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64
tzdata-java-2015g-1.el7.noarch
java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64
java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64
rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64 java-1.8.0-openjdk-1.8.0.65-3.b17.el7.x86_64 java-1.7.0-openjdk-1.7.0.91-2.6.2.3.el7.x86_64 java-1.7.0-openjdk-headless-1.7.0.91-2.6.2.3.el7.x86_64
java -version #此时没有java版本
安装新的java环境
此时创建两个放压缩包和解压文件的目录并下载新的java安装包拷入机器
mkdir /opt/{softsare,module}
cd /opt/software
ls
jdk-17_linux-x64_bin.tar.gz
tar -zxvf jdk-17_linux-x64_bin.tar.gz -C /opt/module #解压
vim /etc/profile #配置环境变量
#java_home
export JAVA_HOME=/opt/module/jdk
export CLASSPATH=.:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/lib:$PATH
source /etc/profile
java -version
java version "17.0.2" 2022-01-18 LTS
配置zookeeper
首先需要下载kafka的包,这里下载的是3.1版本kafka_2.12-3.1.0.tgz
tar -zxvf kafka_2.12-3.1.0.tgz -C /opt/module #解压
cd /opt/module/kafka_2.12-3.1.0
mkdir kafka_logs_1 #创建kafka日志目录
mkdir zkdata #创建zk数据目录
vim /opt/module/kafka_2.12-3.1.0/config/zookeeper.properties #编辑zk配置文件
dataDir=/opt/module/kafka_2.12-3.1.0/zkdata #zk日志目录
clientPort=2181 #端口
maxClientCnxns=0
TickTime=2000
initLimit=10
syncLimit=5
server.0=192.168.189.129:2888:3888 #集群ip此处的server.0数字是唯一机器标识与后面的myid对应
server.1=192.168.189.130:2888:3888
server.2=192.168.189.131:2888:3888
写入myid
cd /opt/module/kafka_2.12-3.1.0/zkdata
echo 0 >myid #后两台机器myid是1和2
配置kafka
cd /opt/module/kafka_2.12-3.1.0/config
vim server.properties
broker.id=0 #与myid对应
advertised.listeners=PLAINTEXT://192.168.189.129:9092 #本机IP
num.network.threads=3
log.dirs=/opt/module/kafka_2.12-3.1.0/kafka_logs_1 #日志目录
num.partitions=3 #与集群机器数量对应
log.retention.hours=24 #日志保存市场
zookeeper.connect=192.168.189.129:2181,192.168.189.130:2181,192.168.189.131:2181 #集群机器ip
启动
启动kafka需要先启动zookeeper;而停掉kafka的话后停zookeeper。
cd /opt/module/kafka_2.12-3.1.0
nohup bin/zookeeper-server-start.sh config/zookeeper.properties >logs/zookeeper.log 2>1 & #后台启动zk
nohup bin/kafka-server-start.sh config/server.properties > kafka_logs_1/kafka.log 2>1 & #后台启动kafka
之后观察日志,输出无报错即成功