7、Kafka消息丢失

生产者：
acks=0
生产者不用等待服务器应答，以下情况会发生消息丢失：
当网络发生异常等情况时；
客户端异常，异步发送时，消息并没有直接发送至Kafka集群，而是在Client端按一 定规则缓存并批量发送。在这期间，如果客户端发生死机等情况，都会导致消息的丢失；
缓冲区满了，异步发送时，Client端缓存的消息超出了缓冲池的大小，也存在消息丢 失的可能；
kafka服务器异常-Leader副本异常；

acks=1
生产者等待kafka topic的leader副本应答，而无需等待followers副本同步leader 副本数据完成，这个同步数据过程中可能出错，导致数据丢失

acks=all
生产者等待leader和所有followers都完成之后才会收到应答，理论上消息是不会丢失的，当然也有例外情况如：kafka把数据异步刷到日志文件中(磁盘)时先刷到页缓存 中，然后操作系统同步页缓存到日志文件中，这个过程宕机了也是会发生消息丢失。不 过可以通过kafka broker端配置min.insync.replicas大于1来解决
min.insync.replicas：当producer将ack设置为“全部”（或“-1”）时， min.insync.replicas指定了被认为写入成功的最小副本数。如果这个最小值不能满足，那么producer将会引发一个异常（NotEnoughReplicas或 NotEnoughReplicasAfterAppend），默认值1

生产者防止消息丢失
同步、acks=all(broker端配置min.insync.replicas=2)

消费者：
消息处理完成前就提交offset,如果处理过程中发生异常就会出现消息丢失的情况

消费者防止消息丢失
enable.auto.commit=false 关闭自动提交offset，在消息被完整处理之后再手动提交offset，注意对于慢消费者的处理，单独线程池执行防止拖累整个kafka消费能力。