kafka数据丢失

kafka数据丢失分为两个部分，分别是生产者和kafka应用交互时丢失，消费者丢失

1.生产者和kafka应用交互

kafka存储一个topic中的数据至kafka时，会存储至不同的partion，每个partion又会有多个副本，当某一个broker宕机时，kafka会去重新选举partion的leader，如果此时follower中的数据没有和leader中保持一致的话，就会导致数据丢失。

解决办法

kafka至少应该设置以下几个参数
1.replication.factor:副本的数量，至少应该大于1，也就是说每个partion必须存储两个副本；
2.min.insync.replications参数：这个值必须大于1，这个是要求每个leader至少感知到有一个follower还和自己保持同步；
3.在producer中设置ack = all，确保每个数据必须是写入了所有副本之后，才算是写成功了；
4.producer设置retries=MAX,失败之后，需要重新发送MAX次，这个值一般设置成一个很大的值，相当于无限重试。

2.消费者

消费者需要提交offset，在消费者消费到这个消息但是尚未处理的时候，自动去提交这个offset，但是此时程序发生异常，kafka不会再次发送数据，消费者又没有真正消费到这个数据。

解决办法

将自动提交offset关闭