kafka集群搭建

kafka集群搭建需要借助于zookeeper

• zookeeper部署3个节点

  • 2181
  • 2182
  • 2183

• kafka部署3个节点

  • 9092
  • 9093
  • 9094

下载zookeeper安装包 复制三份

每个节点修改配置文件zoo.cfg

#客户端端口
clientPort=2181
​
#数据存储路径
dataDir=/tmp/zookeeper/2181
​
#修改AdminServer的端口：
admin.serverPort=8881

三个节点依次修改对应的端口和数据存储路径还有AdminServer的端口

dataDir对应目录下分别创建myid文件，内容对应1、2、3

cd /tmp/zookeeper/2183
echo 1 > myid

配置集群：

我们把以下配置信息写入到每个节点的zoo.cfg中

server.1=127.0.0.1:2881:3881
server.2=127.0.0.1:2882:3882
server.3=127.0.0.1:2883:3883

 启动每个zk节点

#启动zk
./zkServer.sh  start
​
#查看节点状态
./zkServer.sh status
​
#停止节点
./zkServer.sh stop

 同样我们安装包解压后复制三个节点出来 修改配置文件 server.properties

#内网中使用，内网部署 kafka 集群只需要用到 listeners，内外网需要作区分时 才需要用到advertised.listeners
listeners=PLAINTEXT://172.18.123.229:9092
​
advertised.listeners=PLAINTEXT://112.74.55.160:9092
​
#每个节点编号1、2、3
broker.id=1
​
#端口
port=9092
​
#配置3个
log.dirs=/tmp/kafka-logs-1
​
#zk地址
zookeeper.connect=localhost:2181,localhost:2182,localhost:2183

进入bin目录，启动kafka

# 守护进程方式
./kafka-server-start.sh -daemon ../config/server.properties &
​
# 非守护进程方式
./kafka-server-start.sh ../config/server.properties 

好了，集群搭建就完成了，谢谢大家，需要详细视频步骤，可以私信我