到目前为止,我们一直在与一个经纪人竞争,但这并不好玩。对于Kafka来说,单个代理只是一个大小为1的集群,因此除了启动一些代理实例之外没有太多变化。但是为了感受它,让我们将我们的集群扩展到三个节点(仍然在我们的本地机器上)。
首先,我们为每个代理创建一个配置文件(在Windows上使用copy
命令代替):
1 2 | > cp config /server .properties config /server-1 .properties > cp config /server .properties config /server-2 .properties |
现在编辑这些新文件并设置以下属性:
1 2 3 4 五 6 7 8 9 | config/server-1.properties: broker.id=1 listeners=PLAINTEXT://:9093 log.dirs=/tmp/kafka-logs-1 config/server-2.properties: broker.id=2 listeners=PLAINTEXT://:9094 log.dirs=/tmp/kafka-logs-2 |
该broker.id
属性是群集中每个节点的唯一且永久的名称。我们必须覆盖端口和日志目录,因为我们在同一台机器上运行这些,并且我们希望让所有代理尝试在同一端口上注册或覆盖彼此的数据。
我们已经启动了Zookeeper并启动了我们的单个节点,因此我们只需要启动两个新节点:
1 2 3 4 | > bin /kafka-server-start .sh config /server-1 .properties & ... > bin /kafka-server-start .sh config /server-2 .properties & ... |
现在创建一个复制因子为3的新主题:
1 | > bin /kafka-topics .sh --create --zookeeper localhost:2181 --replication-factor 3 --partitions 1 --topic my-replicated-topic |
好的,但现在我们有一个集群,我们怎么知道哪个经纪人正在做什么?要查看运行“describe topics”命令:
1 2 3 | > bin /kafka-topics .sh --describe --zookeeper localhost:2181 --topic my-replicated-topic Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs: Topic: my-replicated-topic Partition: 0 Leader: 1 Replicas: 1,2,0 Isr: 1,2,0 |
这是输出的解释。第一行给出了所有分区的摘要,每个附加行提供有关一个分区的信息。由于此主题只有一个分区,因此只有一行。
- “leader”是负责给定分区的所有读写的节点。每个节点将成为随机选择的分区部分的领导者。
- “replicas”是复制此分区日志的节点列表,无论它们是否为领导者,或者即使它们当前处于活动状态。
- “isr”是“同步”复制品的集合。这是副本列表的子集,该列表当前处于活跃状态并且已经被领导者捕获。
请注意,在我的示例中,节点1是主题的唯一分区的领导者。
我们可以在我们创建的原始主题上运行相同的命令,以查看它的位置:
1 2 3 | > bin /kafka-topics .sh --describe --zookeeper localhost:2181 --topic test Topic: test PartitionCount:1 ReplicationFactor:1 Configs: Topic: test Partition: 0 Leader: 0 Replicas: 0 Isr: 0 |
所以毫无疑问 - 原始主题没有副本,并且位于服务器0上,是我们创建它时群集中唯一的服务器。
让我们向我们的新主题发布一些消息:
1 2 3 4 五 | > bin /kafka-console-producer .sh --broker-list localhost:9092 --topic my-replicated-topic ... my test message 1 my test message 2 ^C |
现在让我们使用这些消息:
1 2 3 4 | > bin /kafka-console-consumer .sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic ... my test message 1 my test message 2 |
现在让我们测试一下容错性。经纪人1充当领导者所以让我们杀了它:
1 2 3 | > ps aux | grep server-1.properties 7564 ttys002 0:15.91 /System/Library/Frameworks/JavaVM .framework /Versions/1 .8 /Home/bin/java ... > kill -9 7564 |
在Windows上使用:
1 2 3 4 | > wmic process where "caption = 'java.exe' and commandline like '%server-1.properties%'" get processid ProcessId 6016 > taskkill /pid 6016 /f |
领导已切换到其中一个从属节点,节点1不再位于同步副本集中:
1 2 3 | > bin /kafka-topics .sh --describe --zookeeper localhost:2181 --topic my-replicated-topic Topic:my-replicated-topic PartitionCount:1 ReplicationFactor:3 Configs: Topic: my-replicated-topic Partition: 0 Leader: 2 Replicas: 1,2,0 Isr: 2,0 |
但即使最初接受写入的领导者已经失败,这些消息仍可供消费:
1 2 3 4 五 | > bin /kafka-console-consumer .sh --bootstrap-server localhost:9092 --from-beginning --topic my-replicated-topic ... my test message 1 my test message 2 |
出自kafka官方文档