【kafka专栏】如何保证数据生产不重不漏的高可靠性

kafka要保证消息的生产消费可靠性,需要从三个方面进行管理,一是kafka集群服务端,二是kafka生产者客户端,三是kafka消费者客户端。只有这三个方面都保证可靠性,才能实现消息不重复、不漏掉!本文主要从kafka生产者客户端的角度说明可靠性及其相关配置,关于其他两个方面请关注本专栏!


通常情况下,我们希望程序向kafka消息队列中发送消息的过程是可靠的,也就是不能出现消息的丢失。但是在某些场景下,实际的需求并不需要消息的高可靠,比如某个网页的点击量数据。在某些异常情况下如果存在少量的数据丢失,也是可以接受的;比如服务器指标的监控数据,在某些异常情况下如果存在少量数据丢失,其实也会产生很大的影响。 在这些场景下其实并不需要kafka保证数据的高可靠性,保证性能和吞吐量可能更加重要。

kafka为了保证数据生产环节数据的高可靠性提供了一些生产者配置参数,这些配置参数能够帮助我们实现

  • 消息不丢失
  • 同一个消息不重复发送2次

但是配置

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
©️2022 CSDN 皮肤主题:Age of Ai 设计师:meimeiellie 返回首页
评论 2

打赏作者

字母哥哥

您的支持是我不竭的创作动力!

¥2 ¥4 ¥6 ¥10 ¥20
输入1-500的整数
余额支付 (余额:-- )
扫码支付
扫码支付:¥2
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值