zookeeper3.5.7+kafka2.12-3.4.1部署详细步骤

前言：

本文章主要是基于linux环境下（已完成IP，主机名设置，网络设置以及关闭了防火墙和jdk配置）搭建分布式集群（3台虚拟机ip），主要讲述zookeeper集群安装部署和kafka安装部署以及在安装期间的一些注意事项。

三台虚拟机的主机ip及主机名

192.168.244.**1	master
192.168.244.**2	hadoop02
192.168.244.**3	hadoop03

二.目录：

三、正文

一、zookeeper·3.5.7的安装及部署

1.zookeeper3.5.7的下载

2.zookeeper3.5.7的安装

3.zookeeper3.5.7分布式部署

4.测试启动zookeeper

5.注意事项

二、kafka2.1.2-2.4.1的安装部署

1.kafka2.12-3.4.1的下载链接

2.kafka2.1.2-2.4.1的安装

3.kafka2.1.2-2.4.1分布式部署

​编辑 4.测试启动 kafka  

5.注意事项

---

三、正文

一、zookeeper·3.5.7的安装及部署

1.zookeeper3.5.7的下载

链接https://repo.huaweicloud.com/apache/zookeeper/zookeeper-3.5.7/

2.zookeeper3.5.7的安装

#下载zookeeper安装包后利用xftp将安装包移动到你的虚拟机的指定目录下
#在虚拟机进入指定目录使用以下命令进行解压
tar -zxvf /export/software/apache-zookeeper-3.5.7-bin.tar.gz /export/server/

3.zookeeper3.5.7分布式部署

#在zookeeper目录下创建zkdata目录，zkdata目录下在创建一个data目录和log目录用于存储数据的和日志
mkdir -p /export/software/apache-zookeeper-3.5.7-bin/zkdata/data
mkdir -p /export/software/apache-zookeeper-3.5.7-bin/zkdata/log

#在data目录下创建myid文件
vim myid    #在myid文件中写入1，后续配置conf文件用到

#进入zookeeper目录下的conf目录

cd /export/software/apache-zookeeper-3.5.7-bin/conf

#将 zoo_sample.cfg 文件拷贝一份命名为 zoo.cfg 是为了备份原始配置文件，以便在需要时可以恢复它。如果您不备份原始配置文件，那么在更改配置文件时可能会出现问题，从而导致ZooKeeper无法启动或运行

cp zoo_sample.cfg zoo.cfg

进入zookeeper目录下的conf目录下配置zoo.cfg文件（配置文件不熟练的尽量手敲，不要出现不必要的空格，导致集群的运行失败）

vim zoo.cfg

#主要修改以下这些地方
#数据存储路径
dataDir=/export/software/apache-zookeeper-3.5.7-bin/zkdata/data

#日志存储路径
dataLogDir=/export/software/apache-zookeeper-3.5.7-bin/zkdata/log

#这些配置是ZooKeeper集群的配置，用于指定ZooKeeper集群中的节点。其中，server.1、server.2和server.3是节点的名称，master、slave1和slave2是节点的IP地址或主机名。2888和3888是ZooKeeper使用的端口号。其中server.x的数字就是myid里面的数字

#server.x=主机名或者ip:2888:3888 
server.1=master:2888:3888
server.2=slave1:2888:3888
server.3=slave2:2888:3888

配置环境变量

export ZK_HOME=/export/servers/apache-zookeeper-3.5.7-bin
export PATH=$PATH:$ZK_HOME/bin

分发zookeeper和环境变量到hadoop02，hadoop03

scp -r /etc/profile hadoop02:/etc/
scp -r /etc/profile hadoop03:/etc/
#分别在hadoop02，hadoop03虚拟机执行  source /etc/profile 使环境变量生效


scp -r /export/servers/apache-zookeeper-3.5.7-bin hadoop02:/export/servers/
scp -r /export/servers/apache-zookeeper-3.5.7-bin hadoop03:/export/servers/

分发完成后，修改hadoop02，hadoop03下的zookeeper目录下的zkdata/data的myid文件

#hadoop02
vi /export/software/apache-zookeeper-3.5.7-bin/zkdata/data/myid
#将master分发过来的1修改为2

#hadoop03
vi /export/software/apache-zookeeper-3.5.7-bin/zkdata/data/myid
#将master分发过来的1修改为3

4.测试启动zookeeper

#分别在master，hadoop02，hadoop03启动zookeeper，
#往后可设置脚本来启动来提高效率
zkServer.sh start

#启动后执行以下命令查看进程和状态
#进程（三台虚拟机都要执行）
jps

#状态:查看选举状态（三台虚拟机都要执行）
zkServer.sh status

 

5.注意事项

如果查看zookeeper状态时出现以下情况，表示zookeeper没有启动成功

1.要关闭linux系统防火墙

//停止firewalld防火墙
systemctl stop firewalld

    
 //disable防火墙，让它开机不自启
systemctl disable firewalld

  
//查看firewalld是否已经关闭（active（running））显示防火墙处于激活状态（inactive（dead））防火墙进程处于未激活状态
systemctl status firewalld    

2.ps查看三台虚拟机是否zookeeper进程都存在，只有三台虚拟机的zookeeper都启动了才会进行选举

3.检查每台虚拟机的myid是否正确

4.检查zoo.cfg是否配置好

二、kafka2.1.2-2.4.1的安装部署

1.kafka2.12-3.4.1的下载链接

https://mirrors.huaweicloud.com/apache/kafka/3.4.1/kafka_2.12-3.4.1.tgz

2.kafka2.1.2-2.4.1的安装

#下载kafka安装包后将安装包移动到你的虚拟机的指定目录下
#在虚拟机进入指定目录使用以下命令进行解压
tar -zxvf /export/software/kafka_2.12-3.4.1.tgz /export/server/

3.kafka2.1.2-2.4.1分布式部署

进入/export/servers/kafka_2.12-3.4.1/config下 vim server.properties（修改配置）

 修改以下配置信息

#设置日志存储路径，无需提前创建文件夹，系统会自行创建
log.dirs=/export/servers/kafka_2.12-3.4.1/log

#设置环境变量
export KAFKA_HOME=/export/servers/kafka_2.12-3.4.1
export PATH=$PATH:$KAFKA_HOME/bin

分发kafka到Hadoop02，hadoop03
scp -r /export/servers/kafka_2.12-3.4.1 haoop02:/export/servers/
scp -r /export/servers/kafka_2.12-3.4.1 haoop03:/export/servers/

#分发环境变量
scp -r /etc/profile hadoop02:/etc/
scp -r /etc/profile hadoop03:/etc/
#分别在hadoop02，hadoop03虚拟机执行  source /etc/profile 使环境变量生效

hadoop02：进入/export/servers/kafka_2.12-3.4.1/config下 vim server.properties（修改配置）

hadoop03： 进入/export/servers/kafka_2.12-3.4.1/config下 vim server.properties（修改配置）

 4.测试启动 kafka  

cd /export/servers/kafka_2.12-3.4.1/

#前台启动（三台虚拟机都要执行，后期可编写脚本提高效率），再开一个终端
bin/kafka-server-start.sh config/server.properties 

#或者选用后台启动
bin/kafka-server-start.sh -daemon config/server.properties 

执行./zkCli.sh进入zookeeper终端，ls命令查看节点是否启动成功

 创建主题和查看主题

cd /export/servers/kafka_2.12-3.4.1/

#创建一个主题
bin/kafka-topics.sh --bootstrap-server 192.168.244.131:9092 --create --partitions 1 --replication-factor 3 --topic test


#查看已有主题
bin/kafka-topics.sh --bootstrap-server 192.168.244.131:9092 --list

5.注意事项

如果kafka集群启动不成功

1.查看三台虚拟机zookeeper是否启动成功，是否有进行选举

2.查看kafka/config目录下的server.properties相关配置是否正确

3.如果采用前台启动，需重开一个终端进行操作（程序会卡住，其实是前台启动的正常现象，在新终端操作，它才有消息输出，因为它把日志展示在终端了）