kafka生产者和消费者端的数据不一致

今天测试遇到了问题,kafka生产者和消费者端的数据不一致,而且数据相差还比较大,测试生产10000条数据 消费者有时候能消费10000条 有时候只能消费9多条,最开始以为是ack等等的设置,之后调整了一些生产者的参数,发现还是有问题,最后还是另外一个同事发现了最根本的问题。

kafka生产者是异步生产数据,我写了个测试方法在main函数里面 用for循环模拟发送10000条数据,就是因为这个main线程导致了数据没有发送完成,因为kafka异步发送可能由于网络或者其他资源的影响,main线程执行完成了而kafka的数据并没有发送完,而当main线程执行完成之后JVM就会关闭,那么那些异步的消息没发送完成的也会因为jvm的关闭而丢失。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值