Kafka 有多个broker的例子

-- Start

1. 启动 ZooKeeper

首先还是启动 ZooKeeper。

 

1. set KAFKA_HOME=D:/0_Shangbo/App/kafka/kafka_2.12-1.1.0

2. cd %KAFKA_HOME%/bin/windows

3. zookeeper-server-start.bat %KAFKA_HOME%/config/zookeeper.properties

 

 

 

2. 启动 Kafka borker

首先把 config 目录下的 server.properties 复制两份，分别命名为 server-1.properties 和 server-2.properties，然后修改这两个文件的下列属性，确保 log 目录存在哦。

server-1.properties:

1. broker.id=1

2. listeners=PLAINTEXT://:9093

3. log.dirs=D:/0_Shangbo/App/kafka/data/kafka/broker1

 

server-2.properties:

 

 

 

 

1. broker.id=2

2. listeners=PLAINTEXT://:9094

3. log.dirs=D:/0_Shangbo/App/kafka/data/kafka/broker2

 

其中 broker.id 用来唯一标识每一个 broker，由于我们是在同一台机器上运行三个broker， 所以我们也需要修改一下listeners
 和 log.dirs 属性。当然该文件还有好多其他属性我们可以进行设置，而且对每个属性都进行了说明，你可以仔细的看一下这个属性文件。

现在我们有三个 broker，分别在三个命令行中启动这三个 broker。

 

1. set KAFKA_HOME=D:/0_Shangbo/App/kafka/kafka_2.12-1.1.0

2. cd %KAFKA_HOME%/bin/windows

3. kafka-server-start.bat %KAFKA_HOME%/config/server.properties

 

 

1. set KAFKA_HOME=D:/0_Shangbo/App/kafka/kafka_2.12-1.1.0

2. cd %KAFKA_HOME%/bin/windows

3. kafka-server-start.bat %KAFKA_HOME%/config/server-1.properties

 

 

1. set KAFKA_HOME=D:/0_Shangbo/App/kafka/kafka_2.12-1.1.0

2. cd %KAFKA_HOME%/bin/windows

3. kafka-server-start.bat %KAFKA_HOME%/config/server-2.properties

 

 

 

 

 

3.创建 topic

 

新打开一个命令提示符，下面的命令创建了一个名为 topic1 的topic。

 

1. set KAFKA_HOME=D:/0_Shangbo/App/kafka/kafka_2.12-1.1.0

2. cd %KAFKA_HOME%/bin/windows

3. kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 2 --partitions 3 --topic topic1

 

 

 

你有没有想过类似 --create 的这些参数是什么意思呢？在哪里查询它们的意思呢？试一试下面的命令吧。

 

kafka-topics.bat

 

 

 

也许你已经看了这些参数的意思，但是不一定能理解replication-factor 和 partitions 的真正含义。现在让我们来看看主题(topic)，分区(partition)和日志(log)的关系，你可以把 topic 理解为文件夹，partition 为 topic 下面的子文件夹，log 在 partition 下，而消息保存在 log 中。所以上面的命令中--partitions 3 的意思是在 topic1下创建3个分区。那--replication-factor 2 是什么意思呢？它的意思是将任意一个分区复制到2个broker 上，这样如果一个broker 挂了，我们仍然可以从另一个broker 上获取到消息，那如果有2个broker挂了呢？呵呵，那就真挂了。怎么样？还没理解？不要紧，看看下面的目录结构你就知道了。

等过了一段时间，你可能已经忘记了topic1 是如何定义的了，你想查看它的详情，试试下面的命令吧。

 

kafka-topics.bat --describe --zookeeper localhost:2181 --topic topic1

 

 

 

上面的命令得到如下的输出：

 

1. Topic:topic1 PartitionCount:3 ReplicationFactor:2 Configs:

2. Topic: topic1 Partition: 0 Leader: 0 Replicas: 0,2 Isr: 0,2

3. Topic: topic1 Partition: 1 Leader: 1 Replicas: 1,0 Isr: 1,0

4. Topic: topic1 Partition: 2 Leader: 2 Replicas: 2,1 Isr: 2,1

第一行是对 topic 的概述。接下来的三行是对每个分区的描述。

 

每一个分区都有一个broker为leader，它负责该分区内的所有读写操作，其他broker 被动的复制leader broker。如果leader broker 挂了，那么其他broker中的一个将自动成为该分区的新leader。

Replicas: 0,1 表示该分区保存在 broker 0 和 broker 1下。

Isr: 0,1 表示当前我们可以在 broker 0 和 broker 1 下访问该分区，如果 broker 0挂了，那就像这样子了 Isr: 1

 

4.发送消息

下面的命令发送一条消息到 topic1。

 

1. set KAFKA_HOME=D:/0_Shangbo/App/kafka/kafka_2.12-1.1.0

2. cd %KAFKA_HOME%/bin/windows

3. kafka-console-producer.bat --broker-list localhost:9092 --topic topic1

4. This is a message

 

5. 接收消息

下面的命令从 topic1 中接收消息。

 

1. set KAFKA_HOME=D:/0_Shangbo/App/kafka/kafka_2.12-1.1.0

2. cd %KAFKA_HOME%/bin/windows

3. kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic topic1 --from-beginning

 

 

 

 

6. 关闭 broker 1

 

现在我们将启动broker 1的命令窗口关闭。然后使用下面的命令再次查看一下 topic1 的状态。

 

kafka-topics.bat --describe --zookeeper localhost:2181 --topic topic1

 

 

 

 

1. Topic:topic1 PartitionCount:3 ReplicationFactor:2 Configs:

2. Topic: topic1 Partition: 0 Leader: 0 Replicas: 0,2 Isr: 0,2

3. Topic: topic1 Partition: 1 Leader: 0 Replicas: 1,0 Isr: 0

4. Topic: topic1 Partition: 2 Leader: 2 Replicas: 2,1 Isr: 2

 

 

 

 

你可以再试着发送一条消息，看看还能否接收到消息。

 

你也可以再关闭一个broker，然后试着发送一条消息，看看有什么结果。

 

-- 更多参见：Kafka 精萃
-- 声 明：转载请注明出处
-- Last Edited on 2018-06-09
-- Written by ShangBo on 2014-09-03
-- End