Kafka集群的搭建

简介

首先需要搭建一个ZooKeeper的集群，因为kafka是基于zookeeper的，这里就不搭建zookeeper集群的，zookeeper就直接使用单机的，集群无非配置多一些，后面具体描述。上一篇文章已经记录如何搭建一个单机版的kafka，本篇基于上一篇

详细步骤

这里就在一台机子上做搭建，配置不同端口，多机搭建步骤基本一致
1.启动ZooKeeper

bin/zookeeper-server-start.sh config/zookeeper.properties

2.分别配置kafka集群中三台服务器的配置，这里先复制一下原有的配置文件，再进行修改

cp config/server.properties config/server-1.properties
cp config/server.properties config/server-2.properties
cp config/server.properties config/server-3.properties

三个配置文件需要修改的地方如下：
server-1.properties

broker.id=1   #集群中一台服务器的标识
listeners=PLAINTEXT://192.168.1.100:8081  # 服务监听的ip和端口
log.dirs=/tmp/kafka-logs-1  # 日志文件位置
zookeeper.connect=localhost:2181 
#zookeeper服务器的地址，这里zookeeper没有搭建集群，所有只有一台。如果zookeeper搭建了集群，配置就是192.168.100.1:2181,192.168.100.2:2181,192.168.100.2:2181。配置zookeeper集群中所有服务器的地址

server-2.properties

broker.id=2   
listeners=PLAINTEXT://192.168.1.100:8082  
log.dirs=/tmp/kafka-logs-2 
zookeeper.connect=localhost:2181 

server-3.properties

broker.id=3  
listeners=PLAINTEXT://192.168.1.100:8083  
log.dirs=/tmp/kafka-logs-3 
zookeeper.connect=localhost:2181 

3.启动三个服务,&表示后台启动

bin/kafka-server-start.sh config/server-1.properties &
bin/kafka-server-start.sh config/server-2.properties &
bin/kafka-server-start.sh config/server-3.properties &

4.创建主题
–replication-factor 2 设置副本数为2
–partitions 4 设置分区数为4

bin/kafka-topics.sh --create --bootstrap-server 192.168.1.100:8082 --replication-factor 2 --partitions 4 --topic my-replicated-topic

5.查看主题的配置信息

bin/kafka-topics.sh --describe --bootstrap-server 192.168.1.100:8082 --topic my-replicated-topic

同步副本的意思就是数据和leader的保持同步。