Producer端设置的参数
1. request.required.acks=0
只要请求已经发送出去了,就算是发送完了。不关心有没有写成功
性能会很好,如果是对一些日志进行分析,可以承受丢数据的情况,用这个参数性能会很好
2. request.required.acks=1
发送一条消息,当leader partition写入成功以后,才算写入成功,这种方式也会有丢数据的风险
假如我们往kafka某一个broker上进行写数据,我们当然是给某一个分区的leader进行写数据,
那么这个时候我们写入了这个leader,但是follower partition还没有进行副本同步的时候,leader挂了。
那么我们去消费的时候,这条消息是不存在的,因为新上位的leader没有这条数据
3. request.required.acks=-1
需要ISR副本同步队列里面的所有副本都写成功以后,这条消息才算是写入成功
ISR:2个副本,1个leader 1个 follower 那么这个时候我们这个时候 需要这两个都写入成功才算写入成功
ISR:3个副本,1个leader 2个 follower 那么这个时候我们这个时候 需要这三个都写入成功才算写入成功
Kafka服务端设置的参数
min.insync.replicas
一个leader partition会维护一个ISR列表,这个值就是限制ISR副本同步队列里面至少
得有几个副本,比如这个值是2,那么当ISR列表只有一个副本的时候,往这个分区插入数据的时候会报错
Kafka数据不丢失的方案
- request.required.acks = -1
- 分区副本数量 >= 2
- min.insync.replicas >= 2