搭建 Zookeeper 集群 与 搭建Kafka集群

一、配置环境且搭建 Zookeeper 集群

1.更改主机名

hostnamectl set-hostname node1

hostnamectl set-hostname node2

hostnamectl set-hostname node3

2.添加主机映射

192.168.200.10 node1

192.168.200.11 node2

192.168.200.12 node3

3.免密配置

ssh-keygen

ssh-copy-id node2

ssh-copy-id node3

4.复制到其他两节点，顺便检查是否成功免密

scp /etc/hosts node2:/etc/hosts

scp /etc/hosts node3:/etc/hosts

5.统一关闭防火墙

systemctl stop firewalld

systemctl disable firewalld

vi /etc/selinux/config

SELINUX=permissive

6.1三节点下载java

yum install -y java-1.8.0-openjdk*

6.2通过使用rpm安装，不需要配置环境变量

mkdir /software

cd /software/

rpm -qa | grep java

把jdk-11.0.2_linux-x64_bin.rpm文件拉入software

rpm -ivh jdk-11.0.2_linux-x64_bin.rpm

7.三节点将压缩包拉入并解压

tar -zxvf apache-zookeeper-3.9.1-bin.tar.gz -C /usr/local/

cd /usr/local/apache-zookeeper-3.9.1-bin/

8.将文件夹改名

mv /usr/local/apache-zookeeper-3.9.1-bin/ /usr/local/zookeeper-3.8.0

cd /usr/local/zookeeper-3.8.0/

9. 在 zookeeper 根目录下面创建data 目录

mkdir data

cd conf/

10.将zoo_sample.cfg 重命名为 zoo.cfg ，修改 zoo.cfg 配置文件

mv zoo_sample.cfg zoo.cfg

vim zoo.cfg

11.修改zookeeper 数据存储地址dataDir=/usr/local/zookeeper-3.8.0/data

dataDir=/usr/local/zookeeper-3.8.0/data

添加

# zookeeper 集群地址

server.1=192.168.200.10:2888:3888

server.2=192.168.200.11:2888:3888

server.3=192.168.200.12:2888:3888

# admin.server端口

admin.serverPort=8888

12.复制到其他节点

scp -r /usr/local/zookeeper-3.8.0/ 192.168.200.11:/usr/local/

scp -r /usr/local/zookeeper-3.8.0/ 192.168.200.12:/usr/local/

13.相应节点添加下面内容

cd /usr/local/zookeeper-3.8.0/

echo 1 > data/myid

第二台

echo 2 > data/myid

第三台

echo 3 > data/myid

14.三台均启动并查看状态

sh bin/zkServer.sh start

sh bin/zkServer.sh status

1

  2

   3

二、安装 Kafka

1.解压压缩包到usr/local/

cd

tar -zxvf kafka_2.12-3.6.0.tgz -C /usr/local/

cd /usr/local/kafka_2.12-3.6.0/

2.修改文件

修改文件中的信息对应自己的ip信息

vim config/server.properties

通过查找zookeeper.connec，修改，添加集群的ip

zookeeper.connect=192.168.200.10:2181,192.168.200.11:2181,192.168.200.12:2181

3.复制到其他节点

cd ..

scp -r /usr/local/kafka_2.12-3.6.0/ 192.168.200.11:/usr/local/

scp -r /usr/local/kafka_2.12-3.6.0/ 192.168.200.12:/usr/local/

4.修改其他两节点的文件

将ip改成对应该节点ip

第二台node2

vim /usr/local/kafka_2.12-3.6.0/config/server.properties

第三台node3

5.切换目录，执行

cd /usr/local/kafka_2.12-3.6.0

sh bin/kafka-server-start.sh -daemon config/server.properties

6.检查是否成功

jps

第一台

第二台

第三台

 显示以上信息则完成