[博学谷学习记录]超强总结，用心分享|kafka如何保证数据不丢失

1. kafka如何保证数据不丢失

1.1 生产者如何保证数据不丢失

ACK机制:

当生产者将数据生产到Broker后, Broker应该给予一个ack确认响应, 在kafka中, 主要提供了三种ack的方案:
    ack=0 : 生产者只管发送数据, 不关心不接收Broker给予的响应
    ack=1 : 生产者将数据发送到Broker端, 需要等待Broker端对应的Topic上对应分片上的主副本接收到消息后, 才认为发送成功了
    ack=-1|ALL: 生产者将数据发送到Broker端, 需要等待Broker端对应的Topic上对应分片上的所有的副本都接收到消息后, 才认为发送成功了
    
    效率角度:  0  > 1 > -1
    
    安全角度:  -1 > 1 > 0
    
    思考: 请问在实际使用中, 使用什么方案呢? 三种都有可能      
    一般要根据消息的重要程度, 来选择对应的方案, 如果数据非常重要, 不能丢失, 选择为 -1 ,如果说无所谓 那么就选择 0 , 可以允许一定丢失 1    同时还要结合生产的速率也要作为一定判定依据

1.2 Broker端如何保证数据不丢失

保证方案: 磁盘存储 + 多副本 + ack为-1

1.3 消费端如何保证数据不丢失

 # 博学谷IT 技术支持