时光、疏离了记忆づ童话的博客

再平衡是指的是Consumer Group 下的 Consumer 所订阅的Topic发生变化时 发生的一种分区重分配机制。也就是说，再平衡也就是一种协议，它规定了如何让消费组下的所有消费者来分配 Topic 中的每一个分区。举个栗子：一个 Topic 有 100 个分区，一个消费者组内有有 20 个消费者，在协调者的控制下让消费者组内的每一个消费者分配到 5 个分区，这个分区分配的过程就是再平衡。

在Kafka中，生产者（Producer）和消费者（Consumer）是通过发布订阅模式进行协作的，生产者将消息发送到Kafka集群，而消费者从Kafka集群中拉取消息进行消费，无论是生产者发送消息到Kafka集群还是消费者从Kafka集群中拉取消息进行消费，都是容易出现问题的，比较典型的就是消费端的重复消费问题、生产端和消费端产生的消息丢失问题。下面将对这两个问题出现的场景以及常见的解决方案进行讲解。

在以前的定义中，Kafka被定义为一个分布式的基于发布/订阅模式的消息队列（Message Queue），主要应用于大数据实时处理领域，类似的产品主要有ActiveMQ、RabbitMQ、RocketMQ…，当然我们知道kafka的作用远不止用于消息队列，Kafka作为消息队列主要是基于点对点模式和基于发布订阅消费者主动拉取数据，消息收到后清除消息。消费者消费数据之后，不删除数据。每个消费者相互独立，都可以消费到数据。缓存/消峰、解耦和异步通信。缓冲/消峰。

docker安装kafka、搭建kafka集群进行测试

在以前的定义中，Kafka被定义为一个分布式的基于**发布/订阅**模式的**消息队列**（Message Queue），主要应用于大数据实时处理领域，当然我们知道kafka的作用远不止用于消息队列，kafka作为消息队列主要是基于点对点模式和基于发布订阅模式

1、docker拉取zookeeper镜像docker search zookeeper # 搜索镜像docker pull zookeeper:3.4.9 # 拉取指定版本zk镜像docker images # 查看image IDmkdir -p /root/docker/zookeeper/data #用于映射目录docker run -d -p 2181:2181 -v /root/docker/zookeeper/data:/data/ --name zookeeper --priv