34.kafka怎么保证数据不丢失

34.kafka怎么保证数据不丢失

kafka数据丢失
①消费端弄丢了数据
唯一可能导致消费者弄丢数据的情况,就是说,你那个消费到了这个消息,然后消费者那边自动提交了offset,让kafka以为你已经消费好了这个消息,其实你刚准备处理这个消息,你还没有处理,你自己就挂了,此时这条消息就丢了.
这不是一样么.大家都知道kafka会自动提交offset。
那么只要关闭自动提交offset,在处理完之后自己手动提交offset,就可以保证数据不会丢,但是此时确实还是会重复消费,比如你刚处理完,还没有提交offset,结果自己挂了,此时肯定会重复消费一次,自己保证幂等性就好了.

②kafka弄丢了数据
这块比较常见的一个场景,级是kafka某个broker宕机,然后重新选举partition的leader时.大家想想,要是此时其他的follower刚好还有些数据没有同步,结果此时leader挂了,然后选举某个follower成leader之后,他不就少了一些数据,这就丢了一些数据.
所以此时一般是要求起码设置如下4个参数:

1. 给这个topic设置replication.factor参数：这个值必须大于1,要求每个partition必须有至少2个副本。
2. 在kafka服务端设置min.insync.replicas参数：这个值必须大于1,这个是要一个leader至少感知到有至少一个follower还跟自己保持联系,没掉队,这样才能确保leader挂了还有一个follower吧.
3. 在producer端设置 acks=all：这个是要求每条数据,必须是写入所有replica之后,才能认为是写成功了.
4. 在producer端设置retries:MAX：这个是要求一旦写入是不,就无限重试,卡在这里了

我们生产环境就是按照上述要求配置的,这样配置之后,至少在kafka broker端就可以保证在leader所在的broker发生故障,进行leader切换时,数据不会丢失.
————————————————