Centos安装kafka集群过程

服务器安装kafka

准备工作

安装过程为3台服务器

服务创建目录、目录权限、zookeeper的节点配置

mkdir -p /data/kafka/logs
mkdir -p /data/zookeeper/logs
mkdir -p /data/zookeeper/data
chown 777 -R /data/kafka/logs
chown 777 -R /data/zookeeper/data
chown 777 -R /data/zookeeper/logs

每台服务器执行

服务器1：
echo "1" > /data/zookeeper/data/myid
服务器2：
echo "2" > /data/zookeeper/data/myid
服务器3：
echo "3" > /data/zookeeper/data/myid

上传kafka压缩包到服务器、解压

tar -zxvf kafka_2.12-2.6.2
#移动到/usr/local目录下
mv kafka_2.12-2.6.2 /usr/local
# 更该目录名称，切换到/usr/local目录执行
mv kafka_2.12-2.6.2 kafka

三台服务器分别配置zookeeper.properties文件

文件内容如下：

dataDir=/data/zookeeper/data
dataLogDir=/data/zookeeper/logs
clientPort=12181
maxClientCnxns=2000
initLimit=5
syncLimit=2
server.1=服务器1的IP:2888:3888
server.2=服务器2的IP:2888:3888
server.3=服务器3的IP:2888:3888

如果担心弄错，可以先将文件备份，在进行操作，执行如下：

mv zookeeper.properties zookeeper.properties.ori
# 执行cat命令，将文件内容服务黏贴过来，最后在新行输入EOF回车，即可生成文件
cat > zookeeper.properties <<EOF

三台服务分别配置server.properties

## 服务器1
log.dirs=/data/kafka/logs
listeners=PLAINTEXT://:19092
advertised.listeners=PLAINTEXT://服务器1的IP:19092
zookeeper.connect=服务器1的IP:12181,服务器2的IP:12181,服务器3的IP:12181
## 服务器2
log.dirs=/data/kafka/logs
listeners=PLAINTEXT://:19092
advertised.listeners=PLAINTEXT://服务器2的IP:19092
zookeeper.connect=服务器1的IP:12181,服务器2的IP:12181,服务器3的IP:12181
## 服务器3
log.dirs=/data/kafka/logs
listeners=PLAINTEXT://:19092
advertised.listeners=PLAINTEXT://服务器3的IP:19092
zookeeper.connect=服务器1的IP:12181,服务器2的IP:12181,服务器3的IP:12181

防火墙开放端口

可以关闭centos的防火墙，但是这样不安全。保证安全的前提下，对指定端口进行开放

## 端口号段
firewall-cmd --zone=public --add-port=2888-3888/tcp --permanent
## kafka端口
firewall-cmd --zone=public --add-port=19092/tcp --permanent
## zookeeper端口
firewall-cmd --zone=public --add-port=12181/tcp --permanent
## 重新加载
firewall-cmd --reload

在/lib/systemd/system/下创建kafka和zookeeper开机启动服务

在一台主机上配置好两个文件内容后，使用远程复制命令，复制到其他两台机器的相应目录下即可

zookeeper.service添加内容

[Unit]
Description=Zookeeper service
After=network.target

[Service]
Type=simple
Environment="JAVA_HOME=/usr/local/java/jdk1.8.0_291"
User=root
Group=root
ExecStart=/usr/local/kafka/bin/zookeeper-server-start.sh /usr/local/kafka/config/zookeeper.properties
ExecStop=/usr/local/kafka/bin/zookeeper-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

kafka.service添加内容

[Unit]
Description=Apache Kafka server (broker)
After=network.target  zookeeper.service

[Service]
Type=simple
Environment="JAVA_HOME=/usr/local/java/jdk1.8.0_291"
User=root
Group=root
ExecStart=/usr/local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties
ExecStop=/usr/local/kafka/bin/kafka-server-stop.sh
Restart=on-failure

[Install]
WantedBy=multi-user.target

后续

# 刷新配置生效
systemctl daemon-reload
# 加入开机自启动
systemctl enable zookeeper
systemctl enable kafka
# 启动
## 先启动zookeeper
systemctl start zookeeper
## 再启动kafka
systemctl start kafka