kafka模块

最新推荐文章于 2024-04-02 14:29:54 发布

我要改名字qWq

最新推荐文章于 2024-04-02 14:29:54 发布

阅读量198

点赞数

分类专栏：面试-2021-02

本文链接：https://blog.csdn.net/wenqiangW_/article/details/113915156

版权

面试-2021-02 专栏收录该内容

27 篇文章 0 订阅

订阅专栏

kafka 数据丢失问题，及如何保证？

1、kafka 数据丢失问题

    a、acks=1 的时候(只保证写入 leader 成功)，如果刚好 leader 挂了，则数据会丢失。

    b、acks=0 的时候，使用异步模式的时候，该模式下 kafka 无法保证消息，有可能会丢。

2、brocker 如何保证不丢失

    a、acks=all      所有副本都写入成功并确认。

    b、retries=一个合理值        kafka 发送数据失败后的重试值。（如果总是失败，则可能是网络原因）

    c、min.insync.replicas=2   消息至少要被写入到这么多副本才算成功。

    d、unclean.leader.election.enable=false  关闭 unclean leader 选举，

       即不允许非 ISR 中的副本被选举为 leader， 以避免数据丢失。

3、consumer 如何保证不丢失？

    a、如果在消息处理完成前就提交了 offset，那么就有可能造成数据的丢失。

    b、enable.auto.commit=false 关闭自动提交 offset。

    c、处理完数据之后手动提交。