服务器在队列里的位置丢失,Kafka 保证消息队列不丢失方法

Kafka 如何保证消息队列不丢失？

ACK 机制

生产者如果异步发送，会造成消息丢失，发送的过程中kafka会先把消息缓存起来。然后批量发送。 若批量发送之前client宕机会造成消息丢失。生产者不丢失消息需要同步发送。

kafka服务器默认异步刷盘，先刷到系统页缓存，然后再刷新到日志文件。页缓存的数据可能会丢失。解决可以同步的方式刷盘，但是这样效率很低，比rabbitmq低。

对于我说的第二点有点问题。在配置ack=all ， min.insync.replas > 1 是可以保证页缓存数据不丢失。

设置分区

消费者丢失消息的情况

消息在被追加到 Partition(分区)的时候都会分配一个特定的偏移量(offset)。偏移量(offset)表示 Consumer 当前消费到的 Partition(分区)的所在的位置。Kafka 通过偏移量(offset)可以保证消息在分区内的顺序性。

当消费者拉取到了分区的某个消息之后，消费者会自动提交了 offset。自动提交的话会有一个问题，试想一下，当消费者刚拿到这个消息准备进行真正消费的时候，突然挂掉了，消息实际上并没有被消费，但是 offset 却被自动提交了。

解决办法也比较粗暴，我们手动关闭闭自动提交 offset，每次在真正消费完消息之后之后再自己手动提交 offset 。 但是，细心的朋友一定会发现，这样会带来消息被重新消费的问题。比如你刚刚消费完消息之后，还没提交 offset，结果自己挂掉了，那么这个消息理论上就会被消费两次。

关闭自动提交 unclean.leader = false

天天面试题