简介
首先需要搭建一个ZooKeeper的集群,因为kafka是基于zookeeper的,这里就不搭建zookeeper集群的,zookeeper就直接使用单机的,集群无非配置多一些,后面具体描述。上一篇文章已经记录如何搭建一个单机版的kafka,本篇基于上一篇
详细步骤
这里就在一台机子上做搭建,配置不同端口,多机搭建步骤基本一致
1.启动ZooKeeper
bin/zookeeper-server-start.sh config/zookeeper.properties
2.分别配置kafka集群中三台服务器的配置,这里先复制一下原有的配置文件,再进行修改
cp config/server.properties config/server-1.properties
cp config/server.properties config/server-2.properties
cp config/server.properties config/server-3.properties
三个配置文件需要修改的地方如下:
server-1.properties
broker.id=1 #集群中一台服务器的标识
listeners=PLAINTEXT://192.168.1.100:8081 # 服务监听的ip和端口
log.dirs=/tmp/kafka-logs-1 # 日志文件位置
zookeeper.connect=localhost:2181
#zookeeper服务器的地址,这里zookeeper没有搭建集群,所有只有一台。如果zookeeper搭建了集群,配置就是192.168.100.1:2181,192.168.100.2:2181,192.168.100.2:2181。配置zookeeper集群中所有服务器的地址
server-2.properties
broker.id=2
listeners=PLAINTEXT://192.168.1.100:8082
log.dirs=/tmp/kafka-logs-2
zookeeper.connect=localhost:2181
server-3.properties
broker.id=3
listeners=PLAINTEXT://192.168.1.100:8083
log.dirs=/tmp/kafka-logs-3
zookeeper.connect=localhost:2181
3.启动三个服务,&表示后台启动
bin/kafka-server-start.sh config/server-1.properties &
bin/kafka-server-start.sh config/server-2.properties &
bin/kafka-server-start.sh config/server-3.properties &
4.创建主题
–replication-factor 2 设置副本数为2
–partitions 4 设置分区数为4
bin/kafka-topics.sh --create --bootstrap-server 192.168.1.100:8082 --replication-factor 2 --partitions 4 --topic my-replicated-topic
5.查看主题的配置信息
bin/kafka-topics.sh --describe --bootstrap-server 192.168.1.100:8082 --topic my-replicated-topic
同步副本的意思就是数据和leader的保持同步。