Kafka的集群搭建分区介绍

对于kafka来说，一个单独的broker意味着kafka集群中只有一个节点。要想增加kafka集群中的节点数量，只需要多启动 几个broker实例即可。为了有更好的理解，现在我们在一台机器上同时启动三个broker实例。

1. 将kafka的配置文件准备三份

[allen@localhost config]$ pwd
/home/allen/packages/kafka_2.13-2.8.0/config
[allen@localhost config]$ cp server.properties server-1.properties 
[allen@localhost config]$ cp server.properties server-2.properties 

2. 为配置文件修改必要的信息 

[allen@localhost config]$ vi server-1.properties 

log.dirs=/home/allen/packages/kafka_2.13-2.8.0/log/kafka-logs-1
listeners=PLAINTEXT://192.168.0.101:9093
broker.id=1
zookeeper.connect=localhost:2181

[allen@localhost config]$ vi server-2.properties

log.dirs=/home/allen/packages/kafka_2.13-2.8.0/log/kafka-logs-2
listeners=PLAINTEXT://192.168.0.101:9094
broker.id=2
zookeeper.connect=localhost:2181

3. 启动另外2台broker

[allen@localhost config]$ pwd
/home/allen/packages/kafka_2.13-2.8.0/
[allen@localhost kafka_2.13-2.8.0]$ bin/kafka-server-start.sh -daemon config/server-1.properties 
[allen@localhost kafka_2.13-2.8.0]$ bin/kafka-server-start.sh -daemon config/server-2.properties 

4. 查看启动情况

在zookeeper中查看

5. 详细介绍partition中副本概念

创建一个新的topic，副本数设置为3，分区数设置为2：

bin/kafka-topics.sh --create --zookeeper 192.168.0.101:2181 --replication-factor 3 --partitions 2 --topic Allen-Reclica-topic1

查看 分区情况，

bin/kafka-topics.sh --describe --zookeeper 192.168.0.101:2181 --topic Allen-Reclica-topic1

当我们把第三个broker kill掉时

如下，可以看到在partition0中，本来作为Leader的broker2中的partition变成了broker1.

对应的Isr中可用的2broker没有了，只有0和1是处于同步中的。

在kafka中要是有顺序消费，必须配置成queue的模式，这样即很难发挥出kafka的高性能。

一个partition同一个时刻在一个consumer group中只能有一个consumer instance在消费，从而保证消费顺序。 consumer group中的consumer instance的数量不能比一个Topic中的partition的数量多，否则，多出来的 consumer消费不到消息。 Kafka只在partition的范围内保证消息消费的局部顺序性，不能在同一个topic中的多个partition中保证总的消费顺序 性。 如果有在总体上保证消费顺序的需求，那么我们可以通过将topic的partition数量设置为1，将consumer group中的 consumer instance数量也设置为1，但是这样会影响性能，所以kafka的顺序消费很少用。