kafka消费者端常见问题

一.kafka消费者端重复数据跟漏数据情况

1.先提交了offset，再消费消息，这种情况会发生漏消息的问题

offset提交给broker的时候，但是此时的消息还没来得及消费，此时消费者端发生了故障，需要重启了，因为之前已经提交过offset了，所以会从offset+1开始消费，offset的消息漏掉了

2.先消费消息，再提交offset，会发生消息重复问题

先消费了消息，但是此时还没有提交offset，此时消费者端挂了，等重启后，会继续从offset开始继续消费，会发生消息重复问题。建议使用这种方案，可以保证数据不会丢失。

二.消费者端参数none,latest,earliest三者的异同点

1.共同点：如果已经存在已提交的Offset，此时三者都一样，都是从offset往后开始消费。

2.不同点：如果不存在已提交的offset，参数设置的是latest，那么是从最新的消息开始消费，参数设置的是earliest，那么从开头开始消费，参数设置的是none,抛出异常。