kafka异步发送数据,不阻塞

kafka生产者默认是回执机制的,即必须确认服务端(server)处理过数据之后才能算是发送完成。虽然生产者会使用线程池处理这些业务,但如果kafka的服务端挂掉生产者也会进行阻塞。
kafka日志收集上线之前,测试的时候就发生过关掉kafka服务端后页面访问非常缓慢,结果找到原因是因为如果kafka生产者没连接到服务端就会进行6秒的阻塞。这对需要嵌入到各个子系统的分布式应用来说存在很大的隐患。

可以通过设置配置选项让kafka生产者不进行阻塞
max.block.ms 控制block的时长,当buffer空间不够或者metadata丢失时产生阻塞(block) 默认时长6000毫秒
props.put(“max.block.ms”, “0”);

  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
根据提供的引用内容,可以看出在这个项目中,使用了Kafka作为消息队列,并且通过异步发送消息到Kafka的方式来实现事件的发布。同时,还有一个MyEventPublisher类用于封装对Kafka的API操作。那么,如果要实现Kafka异步更新MySQL,可以按照以下步骤进行: 1. 首先,在项目中引入MySQL的依赖,例如使用Spring Data JPA来操作MySQL数据库。 2. 在MyEventPublisher类中,可以添加一个方法来处理接收到的事件,并将事件中的数据存储到MySQL数据库中。可以使用JPA的Repository来进行数据库操作。 3. 在MyEventPublisher类中的publishEvent方法中,调用新增的处理方法,将事件数据存储到MySQL数据库中。可以使用异步的方式来进行数据库操作,以避免阻塞Kafka的消息发送。 4. 在配置文件中配置MySQL的连接信息,包括数据库URL、用户名、密码等。 通过以上步骤,就可以实现Kafka异步更新MySQL的功能。当接收到事件时,将事件数据存储到MySQL数据库中,实现数据的更新操作。 #### 引用[.reference_title] - *1* *3* [SpringBoot系列之canal和kafka实现异步实时更新](https://blog.csdn.net/u014427391/article/details/122211056)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [Kafka 异步发送被阻塞](https://blog.csdn.net/wobenqinren/article/details/120182573)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insert_down28v1,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值