kafka读书笔记-消费者-多线程实现及消费者参数配置

本文介绍了KafkaConsumer的线程安全性,分析了其非线程安全的原因,探讨了多线程消息消费的三种方式:线程封闭、自定义消费流程和分离消息拉取与业务处理逻辑,其中,线程封闭最简单,分离处理易于扩展消费能力,自定义流程复杂。同时,提到了消费者端参数的重要性。
摘要由CSDN通过智能技术生成

KafkaProducer是线程安全的,可以多线程共用一个实例,而KafkaConsumer是非线程安全的,这点我对比了下KafkaProducer和KafkaConsumer中的成员变量。KafkaConsumer非线程安全的原因应该在于下面这个成员变量:

private boolean cachedSubscriptionHashAllFetchPositions;

cachedSubscriptionHashAllFetchPositions在每回poll方法调用时都会去判断订阅分区位移是否有效,有效为true,无效则在poll的指定时间内重置分区offset,这个参数多线程条件下修改是不安全的。

KafkaConsumer除了wakeUp()的其它公共方法调用时都会进行一次acquire()检测,类似于乐观锁的机制,判断是否被不同线程调用。acquire方法如下:

private void acquire() {
   
        long threadId 
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值