kafka是如何保证消息不被重复消费的

一、kafka自带的消费机制

kafka有个offset的概念，当每个消息被写进去后，都有一个offset，代表他的序号，然后consumer消费该数据之后，隔一段时间，会把自己消费过的消息的offset提交一下，代表我已经消费过了。下次我要是重启，就会继续从上次消费到的offset来继续消费。

但是当我们直接kill进程了，再重启。这会导致consumer有些消息处理了，但是没来得及提交offset。等重启之后，少数消息就会再次消费一次。

其他MQ也会有这种重复消费的问题，那么针对这种问题，我们需要从业务角度，考虑它的幂等性。

二、通过保证消息队列消费的幂等性来保证

举个例子，当消费一条消息时就往数据库插入一条数据。如何保证重复消费也插入一条数据呢？

那么我们就需要从幂等性角度考虑了。幂等性，我通俗点说，就一个数据，或者一个请求，无论来多次，对应的数据都不会改变的，不能出错。

怎么保证消息队列消费的幂等性？

我们需要结合业务来思考，比如下面的例子：

1.比如某个数据要写库，你先根据主键查一下，如果数据有了，就别插入了，update一下好吧

2.比如你是写redis，那没问题了，反正每次都是set，天然幂等性

3.对于消息，我们可以建个表（专门存储消息消费记录）

生产者，发送消息前判断库中是否有记录（有记录说明已发送），没有记录，先入库，状态为待消费，然后发送消息并把主键id带上。

消费者，接收消息，通过主键ID查询记录表，判断消息状态是否已消费。若没消费过，则处理消息，处理完后，更新消息记录的状态为已消费。