kafka集群安装及kafka集群配置讲解

第一步：上传安装包

tar -xzf kafka_2.11-2.4.1.tgz
cd kafka_2.11-2.4.1

第二步：修改配置
修改配置文件config/server.properties:

vi server.properties

#broker.id属性在kafka集群中必须要是唯一,集群成员改为 1,2,3
broker.id=0
#kafka部署的机器ip和提供服务的端口号,改为本机ip
listeners=PLAINTEXT://192.168.65.60:9092   
#kafka的消息存储文件
log.dir=/home/kafka/kafka_2.11-2.4.1/kafka-logs
#kafka连接zookeeper的地址
zookeeper.connect=192.168.10.64:2181,192.168.10.65:2181,192.168.10.66:2181,192.168.10.67:2181

第三步:其他实例
复制以上安装包,修改broker.id为相应值,ip为当前实例主机地址,分布式其实就是多个broker.注册到相同的zookeeper集群.
启动 :
bin/kafka-server-start.sh -daemon config/server.properties

集群配置:

第一个实例:config/server.properties:
#broker.id属性在kafka集群中必须要是唯一
broker.id=1
#kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://192.168.65.60:9093   
log.dir=/usr/local/data/kafka-logs-1
#kafka连接zookeeper的地址，要把多个kafka实例组成集群，对应连接的zookeeper必须相同
zookeeper.connect=192.168.65.60:2181

第二个实例:config/server-2.properties:
broker.id=2
listeners=PLAINTEXT://192.168.65.60:9094
log.dir=/usr/local/data/kafka-logs-2
zookeeper.connect=192.168.65.60:2181

集群状态查看,随意登录一个zookeeper/bin
./zkCli.sh
[zk: localhost:2181(CONNECTED) 6] ls /brokers/ids
[0, 1, 2, 3]
kafka停止:
cd /bin:
./kafka-server-stop.sh