Kafka集群及Kafka-Manager部署
一、环境
服务器:
IP地址 | 操作系统 |
---|---|
192.168.241.11 | CentOs7-1804 |
192.168.241.12 | CentOs7-1611 |
192.168.241.13 | CentOs7-1804 |
JDK版本:1.8.0_151
ZooKeeper版本:3.4.12
Kafka版本:2.12-2.1.0
二、软件安装
三台服务器均需要安装Java JDK和Kafka,Java JDK的安装本文不再赘述。
Kafka集群依赖Zookeeper集群。Kafka官方安装程序中内置Zookeeper,但本文使用的是自建的Zookeeper集群,Zookeeper集群的部署请参阅:《ZooKeeper集群部署》
1、下载Kafka,官网下载地址为:http://kafka.apache.org/downloads
本文下载到的安装包名为:kafka_2.12-2.1.0.tgz
2、将安装包拷贝到服务器上解压,本文解压到了/usr/local/lib目录下。
三、配置
配置安装目录里config目录下的server.properties文件,本文为:/usr/local/lib/kafka_2.12-2.1.0/config/server.properties文件。
修改broker.id,listeners和zookeeper.connect这三个配置项。
broker.id:这是当前服务器节点在Kafka集群中的ID,必须是一个整数,各个节点的ID不能相同。例如本文的集群由3台服务器组成,各台服务器上该值分别为1,2,3。