如何处理Kafka消息丢失问题？

一、Kafka消费端弄丢数据

唯一可能导致消费者弄丢数据的情况，就是你消费到了这个消息，然后消费者那边自动提交了offset，然kafka以为你已经消费好了这个消息，但其实你才刚准备处理这个消息，你还没有处理，就挂了，此时这条消息就丢失了。

大家都知道kafka会自动提交offset，那么只要关闭自动提交offset，在处理完之后自己手动提交offset，就可以保证数据不会丢失。但是此时确实还是可能会有重复消费，比如你刚处理完，还没有提交offset，就挂了，此时肯定会重复消费一次，只要自己保证幂等性就可以避免重复消费了。

生产环境碰到一个问题，就是kafka消费者消费到了数据之后是写到一个内存的queue里先缓冲一下，结果有的时候，刚把消息写入内存queue，然后消费者会自动提交offset，此时又重启了系统，就会导致内存queue里还没来得及处理数据就丢失了。

二、Kafka 弄丢数据

这是常见的场景，就是kafka某个broker宕机，然后重新选举partition的leader。大家想想，要是此时其他的follower刚好还有些数据没有同步，结果此时leader挂了，然后选举某个follower成leader之后，不就少了一些数据吗？
生产环境也遇到过，就是kafka的leader机器宕机了，将follower切换为leader之后，就会发现说这个数据丢失了。

所以此时一般要求起码设置4个参数：
1.给topic设置replication.factor 参数：这个值必须大于1，要求每个partition必须有至少2个副本。
2.在Kafka服务器设置min.insync.replicas参数：这个值必须大于1，这个是要求一个leader至少感知到有至少一个follower还跟自己联系，没掉队，这样才能确保leader挂了还有一个follower。
3.在producer端设置 acks=all ：这个是要求每条数据，必须是写入所有replica之后，才能认为写成功了。
4.在producer端设置 retries=max ：这个要求一旦写入失败，就无限重试，卡在这里。

这样配置后，至少在kafka broker端就可以保证在leader所在broker发送故障，进行leader切换时，数据不会丢失。

三、生产者弄丢数据

如果按照上述思路设置了acks=all，一定不会丢失，要求是你的leader接收到的消息，所以follower都同步到了消息之后，才认为本次写成功了，如果没有满足这个条件，生产者会自动不断重试，重试无限次。