KAFKA集群安装与配置（带Zookeeper）2023版

KAFKA集群安装与配置（带Zookeeper）2023版

一、环境准备：

Ubuntu 64位 22.04，三台

IP分别为：

机器1：192.168.183.129,

机器2：192.168.183.130,

机器3：192.168.183.131

二、安装JDK1.8

1. 下载JDK1.8，我这边用的版本是jdk1.8.0_202

2、解压jdk

tar -zxvf  jdk1.8.0_202.tar.gz

3、在/usr/local创建java文件夹，并将解压的jdk移动到/usr/local/java

sudo mv jdk1.8.0_202 /usr/local/java

4、打开/etc/profile，配置环境变量

sudo gedit /etc/profile #ubuntu gedit文本编辑器编辑

5.复制下面内容，粘贴到/etc/profile最下方,其中JAVA_HOME为jdk放置路径

export JAVA_HOME=/usr/local/java/jdk1.8.0_202  

export JRE_HOME=${JAVA_HOME}/jre  

export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  

export PATH=${JAVA_HOME}/bin:$PATH

6.初始化profile文件，使之立即生效

source /etc/profile

7.测试

java -version

三、安装zookeeper

1、下载zookeeper，我用的是zookeeper-3.8.1，这个版本

2、解压apache-zookeeper-3.8.1-bin.tar.gz

tar -zxvf apache-zookeeper-3.8.1-bin.tar.gz

3、sudo mv apache-zookeeper-3.8.1-bin /opt

4、在/opt/apache-zookeeper-3.8.1-bin目录下，创建文件夹zkdata，这个放数据，zkdatalog，这个放日志

5、新增实例文件

三台实例分别操作

#实例1

echo "1" > /opt/apache-zookeeper-3.8.1-bin/zkdata/myid  

#实例2

echo "2" > /opt/apache-zookeeper-3.8.1-bin/zkdata 

#实例3  

echo "3" > /opt/apache-zookeeper-3.8.1-bin/zkdata

6、配置修改

cd /opt/apache-zookeeper-3.8.1-bin/conf

mv zoo_sample.cfg zoo.cfg

vim zoo.cfg

7、关闭防火墙

systemctl stop firewalld

systemctl disable firewalld

8、启动ZooKeeper

bin/zkServer.sh start

9、查状态

bin/zkServer.sh status

 

 四、Kafka

1、下载kafka，我这边用的是kafka_2.12-3.4.0，这个版本

2、解压kafka_2.12-3.4.0

tar -xvf kafka_2.12-3.4.0.tar.gz

3、移动文件夹

Sudo mv kafka_2.12-3.4.0 /opt

4、修改配置

cd /opt/kafka_2.12-3.4.0/config/

vim server.properties

broker.id三台机器，分别为：

机器1，broker.id=0

机器2，broker.id=1

机器3，broker.id=2

 

 

5、启动集群

Cd /opt/kafka_2.12-3.4.0

bin/kafka-server-start.sh config/server.properties &

6、测试

创建测试Topic

bin/kafka-topics.sh --create --bootstrap-server localhost:9092 --replication-factor 2 --partitions 3 --topic hello

启动consumer

bin/kafka-console-consumer.sh --bootstrap-server 192.168.183.129:9092,192.168.183.130:9092,192.168.183.131:9092 --topic hello

启动producer

bin/kafka-console-producer.sh --broker-list 192.168.183.129:9092,192.168.183.130:9092,192.168.183.131:9092 --topic hello