kafka集群实战

目录

一、集群搭建

二、容错性测试

三、集群消费

---

//注，本文接《kafka的安装和基本使用​​​​​​​》，可以在我的博客中看到^_^ 

一、集群搭建

对于kafka来说，一个单独的Broker意味着kafka集群中只有一个节点。要想增加kafka集群中的节点数量，只需要多启动几个Broker实例即可。为了有更好的理解，现在我们在一台机器上同时启动三个Broker实例。

首先，我们需要建立好其他2个Broker的配置文件：

cp config/server.properties config/server-1.properties
cp config/server.properties config/server-2.properties

配置文件的需要修改的内容分别如下：vim config/server-1.properties

#broker.id属性在kafka集群中必须要是唯一
broker.id=1
#kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://192.168.3.33:9093 
#使用不同的日志名，因为集群搭建在同一台机器上，需要避免日志覆盖  
log.dir=/usr/local/data/kafka-logs-1
#kafka连接zookeeper的地址，要把多个kafka实例组成集群，对应连接的zookeeper必须相同
zookeeper.connect=192.168.65.60:2181

vim config/server-2.properties

broker.id=2
listeners=PLAINTEXT://192.168.3.33:9094
log.dir=/usr/local/data/kafka-logs-2
zookeeper.connect=192.168.65.60:2181

目前我们已经有一个zookeeper实例和一个Broker实例在运行了，现在我们只需要在启动2个Broker实例即可：//在之前的博客中，我已经启动过一个实例

#bin/kafka-server-start.sh -daemon config/server.properties
bin/kafka-server-start.sh -daemon config/server-1.properties
bin/kafka-server-start.sh -daemon config/server-2.properties

查看zookeeper确认集群节点是否都注册成功：//这些命令在之前博客都有介绍

cd zookeeper
bin/zkCli.sh
ls /brokers/ids

可以看到三个Broker的信息。//也可以使用jps命令看进程

现在我们进入kafka，创建一个新的Topic，副本数设置为3，分区数设置为2：

bin/kafka-topics.sh --create --zookeeper 192.168.3.33:2181 --replication-factor 3 --partitions 2 --topic my-replicated-topic

查看下Topic的情况

bin/kafka-topics.sh --describe --zookeeper 192.168.3.33:2181 --topic my-replicated-topic

以下是输出内容的解释，第一行是所有分区的概要信息，之后的每一行表示每一个Partition的信息。

• Leader节点负责给定Partition的所有读写请求。
• Replicas表示某个Partition在哪几个Broker上存在备份。不管这个几点是不是”Replicas“，甚至这个节点挂了，也会列出。
• Isr是Replicas的一个子集，它只列出当前还存活着的，并且已同步备份了该Partition的节点。

关于3个Replicas备份，我们在日志文件中都可以看到

现在我们向新建的 my-replicated-topic 中发送一些message，kafka集群可以加上所有kafka节点：

bin/kafka-console-producer.sh --broker-list 192.168.3.33:9092,192.168.3.33:9093,192.168.3.33:9094 --topic my-replicated-topic
>my test msg 1
>my test msg 2

现在开始消费：

bin/kafka-console-consumer.sh --bootstrap-server 192.168.3.33:9092,192.168.3.33:9093,192.168.3.33:9094 --from-beginning --topic my-replicated-topic
my test msg 1
my test msg 2

二、容错性测试

现在我们来测试我们容错性，因为Broker0目前是 my-replicated-topic 的分区 1 的Leader，所以我们要将其kill

ps -ef | grep server.properties   #根据配置文件来筛选Broker
kill -9 8503

现在再执行命令：

bin/kafka-topics.sh --describe --zookeeper 192.168.3.33:2181 --topic my-replicated-topic

我们可以看到，分区 1 的Leader节点已经变成了Broker1。要注意的是，在Isr中，已经没有了0号节点。Leader的选举也是从ISR(in-sync replica)中进行的。

此时，我们依然可以消费新消息：

bin/kafka-console-consumer.sh --bootstrap-server 192.168.3.33:9092,192.168.3.33:9093,192.168.3.33:9094 --from-beginning --topic my-replicated-topic
my test msg 1
my test msg 2

// 做这个测试时有一个坑，否则如果集群中有节点挂掉，消费端将会被阻塞。

// 尝试以下方解决方法无效——继续尝试中...，有好方法请@我，谢谢

 kafka集群的错误处理--kafka一个节点挂了，导致消费失败 - tigerloveapple - 博客园

进入ZK，查看主题分区对应的Leader信息：

bin/zkCli.sh
get /brokers/topics/my-replicated-topic/partitions/1/state

kafka将很多集群关键信息记录在zookeeper里，保证自己的无状态，从而在水平扩容时非常方便。

三、集群消费

Log的Partitions分布在kafka集群中不同的Broker上，每个Broker可以请求备份其他Broker上Partition上的数据。kafka集群支持配置一个Partition备份的数量。

针对每个Partition，都有一个Broker起到“Leader”的作用，0个或多个其他的Broker作为“Follwers”的作用。Leader处理所有的针对这个Partition的读写请求，而Followers被动复制Leader的结果，不提供读写(主要是为了保证多副本数据与消费的一致性)。如果这个Leader失效了，其中的一个Follower将会自动的变成新的Leader。

Producers

生产者将消息发送到Topic中去，同时负责选择将message发送到Topic的哪一个Partition中。通过round-robin做简单的负载均衡。也可以根据消息中的某一个关键字来进行区分。通常第二种方式使用的更多。

Consumers

传统的消息传递模式有2种：队列(queue)/单播和(publish-subscribe)/订阅

• queue模式：多个consumer从服务器中读取数据，消息只会到达一个consumer。
• publish-subscribe模式：消息会被广播给所有的consumer。

Kafka基于这2种模式提供了一种consumer的抽象概念：consumer group。

• queue模式：所有的consumer都位于同一个consumer group 下。
• publish-subscribe模式：所有的consumer都有着自己唯一的consumer group。

上图说明：由2个Broker组成的kafka集群，某个主题总共有4个Partition(P0-P3)，分别位于不同的Broker上。这个集群由2个Consumer Group消费， A有2个Consumer Instances ，B有4个。

通常一个Topic会有几个Consumer Group，每个Consumer Group都是一个逻辑上的订阅者（ logical subscriber ）。每个Consumer Group由多个Consumer Instance组成，从而达到可扩展和容灾的功能。

消费顺序

一个Partition同一个时刻在一个Consumer Group中只能有一个Consumer Instance在消费，从而保证消费顺序。

Consumer Group中的Consumer Instance的数量不能比一个Topic中的Partition的数量多，否则，多出来的Consumer消费不到消息。

Kafka只在Partition的范围内保证消息消费的局部顺序性，不能在同一个Topic中的多个Partition中保证总的消费顺序性。

如果有在总体上保证消费顺序的需求，那么我们可以通过将Topic的Partition数量设置为1，将Consumer Group中的Consumer Instance数量也设置为1，但是这样会影响性能，所以kafka的顺序消费很少用。