对于kafka来说,一个单独的broker意味着kafka集群中只有一个节点。要想增加kafka集群中的节点数量,只需要多启动 几个broker实例即可。为了有更好的理解,现在我们在一台机器上同时启动三个broker实例。
1. 将kafka的配置文件准备三份
[allen@localhost config]$ pwd
/home/allen/packages/kafka_2.13-2.8.0/config
[allen@localhost config]$ cp server.properties server-1.properties
[allen@localhost config]$ cp server.properties server-2.properties
2. 为配置文件修改必要的信息
[allen@localhost config]$ vi server-1.properties
log.dirs=/home/allen/packages/kafka_2.13-2.8.0/log/kafka-logs-1
listeners=PLAINTEXT://192.168.0.101:9093
broker.id=1
zookeeper.connect=localhost:2181
[allen@localhost config]$ vi server-2.properties
log.dirs=/home/allen/packages/kafka_2.13-2.8.0/log/kafka-logs-2
listeners=PLAINTEXT://192.168.0.101:9094
broker.id=2
zookeeper.connect=localhost:2181
3. 启动另外2台broker
[allen@localhost config]$ pwd
/home/allen/packages/kafka_2.13-2.8.0/
[allen@localhost kafka_2.13-2.8.0]$ bin/kafka-server-start.sh -daemon config/server-1.properties
[allen@localhost kafka_2.13-2.8.0]$ bin/kafka-server-start.sh -daemon config/server-2.properties
4. 查看启动情况
在zookeeper中查看
5. 详细介绍partition中副本概念
创建一个新的topic,副本数设置为3,分区数设置为2:
bin/kafka-topics.sh --create --zookeeper 192.168.0.101:2181 --replication-factor 3 --partitions 2 --topic Allen-Reclica-topic1
查看 分区情况,
bin/kafka-topics.sh --describe --zookeeper 192.168.0.101:2181 --topic Allen-Reclica-topic1
当我们把第三个broker kill掉时
如下,可以看到在partition0中,本来作为Leader的broker2中的partition变成了broker1.
对应的Isr中可用的2broker没有了,只有0和1是处于同步中的。
在kafka中要是有顺序消费,必须配置成queue的模式,这样即很难发挥出kafka的高性能。
一个partition同一个时刻在一个consumer group中只能有一个consumer instance在消费,从而保证消费顺序。 consumer group中的consumer instance的数量不能比一个Topic中的partition的数量多,否则,多出来的 consumer消费不到消息。 Kafka只在partition的范围内保证消息消费的局部顺序性,不能在同一个topic中的多个partition中保证总的消费顺序 性。 如果有在总体上保证消费顺序的需求,那么我们可以通过将topic的partition数量设置为1,将consumer group中的 consumer instance数量也设置为1,但是这样会影响性能,所以kafka的顺序消费很少用。