Kafka丢数据的情况

1.消费端弄丢了数据
消费者自动提交offset会丢数据,只要关闭自动提交 offset,在处理完之后自己手动提交 offset,就可以保证数据不会丢。
2.Kafka 弄丢了数据
Kafka宕机重新选举leader的时候,要是 follower没有及时同步数据,就会丢数据。

在 Kafka 服务端设置 min.insync.replicas 最小同步副本参数:这个值必须大于 1,这个是要求一个 leader 至少感知到有至少一个 follower 还跟自己保持联系,这样才能确保 leader 挂了还有一个 follower 。
在生产者 端设置 acks=-1,要求每条数据都写入完成后,才认为是写入成功。
在 生产者 端设置 retries=MAX:这个是要求一旦写入失败,就无限重试。

3. 生产者会不会弄丢数据?
生产者在生产数据时是靠ack应答机制来传输数据的,设置 acks=-1,且起码有一个Leader和一个Follower,则一定不会丢数据。

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值