linux部署kafka集群

kafka集群的搭建

环境：
centos7 hmaster 192.168.0.107
centos7 hnode1 192.168.0.108
centos7 hnode2 192.168.0.109

broker.id 配置：
192.168.0.107 1
192.168.0.108 2
192.168.0.109 3

1. zookeeper集群

zookeeper集群可以去看我的另一篇博客： 走你

2.下载kafka

https://dlcdn.apache.org/kafka/3.2.0/kafka_2.12-3.2.0.tgz

3.修改配置文件

将压缩包放在/usr/local/lib/目录下

cd /usr/local/lib
tar -zxvf kafka_2.12-3.2.0.tgz
#修改配置文件
vim  kafka_2.12-3.2.0/config/server.properties

broker.id=1
#更改成所在主机的ip
listeners=listener_name://192.168.0.107:9092
log.dirs=/mydata/tar/kafka_2.12-3.2.0/logs
zookeeper.connect=hmaster:2181,hnode1:2181,hnode2:2181

其中listeners和advertised.listeners配置项可以使用默认的
默认配置如下：
listeners = listener_name://host_name:port
advertised.listeners=PLAINTEXT://your.host.name:9092
如果不配置这两项的话:port默认9092， host_name 是通过java.net.InetAddress.getCanonicalHostName(),获取的，是虚拟机的主机名，需要在hosts文件里边配置，建议直接在hosts文件配置集群主机ip和主机名的映射，例如
192.168.0.107 hmaster
192.168.0.108 hnode1
192.168.0.109 hnode2

3.修改环境变量

vim /etc/profile
#增加如下内容：
#KAFKA_HOME
export KAFKA_HOME=/usr/local/lib/kafka_2.12-3.2.0
export PATH=$PATH:$KAFKA_HOME/bin
source /etc/profile

4.配置启动文件

启动文件需要每个集群的节点都配置ssh免密登录，可以去看我的另一篇博客：传送门

vim kf.sh

#!/bin/bash
case $1 in
"start"){
  for i in hmaster hnode1 hnode2
  do
      echo "-----启动 $i kafka-----"
      ssh $i "source /etc/profile; /usr/local/lib/kafka_2.12-3.2.0/bin/kafka-server-start.sh -daemon /usr/local/lib/kafka_2.12-3.2.0/config/server.properties"
  done
};;
"stop"){
  for i in hmaster hnode1 hnode2
  do
      echo "----停止 $i kafka------"
      ssh $i "source /etc/profile; /usr/local/lib/kafka_2.12-3.2.0/bin/kafka-server-stop.sh"
  done
};;
esac

chmod +x kf.sh

5.启动和关闭命令

./kf.sh start
./kf.sh stop