kafka消费消息时的幂等性问题

1、概念：

消费者对接口的多次调用所产生的结果和调用一次的结果是一致的，也就是在kafka中可能会消费重复的数据，需要客户端去处理这种情况，使得消息消费一次和消费多次是一样的结果。

2、数据消费的步骤：

生产者向kafka中发送的消息会分配offset，代表这个数据的序号。

消费者消费消息后会将offset数据提交给kafka；kafka根据zookeeper中存放的offset数据区确定需要发送哪些数据给消费者。

3、产生原因：

由于消息处理需要时间，在消费者消费消息时，来不及向系统提交offset数据，有可能这个时候系统发生异常，导致系统直接宕机，此时zookeeper中存放的offset数据是上一次提交的数据，所以不是最新的。

还有一个原因，由于消费者不是消费了一条数据之后，直接提交数据，而是批量的去提交，这个时候，如果是系统宕机，也是会导致zookeeper中存放的数据不是最准确的。

4、解决方法：

当消