kafka运行时某个节点丢失

在开发使用Kafka作为消息中间件的项目时,遇到高并发下数据包丢失和消费者掉线的问题。文章探讨了acks配置对Kafka生产者数据可靠性的影响,以及解决消费者掉线的两种策略:调整Zookeeper会话超时时间和通过队列控制消费速度。提出了在队列满时增加sleep策略以避免数据堆积。
摘要由CSDN通过智能技术生成

最近在开发的过程中用到kafka做消息中间件,在测试高并发的时候,发现了一系列的问题。这两天也明白一点,做出产品跟做好产品是两回事!程序能跑起来跟程序能稳定运行更是两回事!
开发的过程中,只要测试数据能否通,业务逻辑能不能被执行,只需要测试小数据量。但是程序开发完成后,性能测试是另一个工作。

  • 第一个问题:kafka生产者数据包丢失
    这个原因大多是生产者配置没配好,kafka的通信有接收到数据之后发出的确认接收的信号
    acks:
    (1)acks=0: 设置为0表示producer不需要等待任何确认收到的信息
    (2)acks=1: 至少要等待leader已经成功将数据写入本地log,但是并没有等待所有follower是否成功写入
    (3)acks=all:leader需要等待所有备份都成功写入日志,这种策略会保证只要有一个备份存活就不会丢失数据
    request.required.acks
    (1)0: 表示producer从来不等待来自broker的确认信息
    (2)1:表示获得leader replica已经接收了数据的确认信息,这个选择时延较小同时确保了server确认接收成功。
    (3)-1:producer会获得所有同步replicas都收到数据的确认,同时时延最大

我给出自己的配置,在10000/s并发下,可以保证可靠性

props.put("compression.type", "gzip");
      
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值