1、生产问题:之前在某行担任java开发时,做的是一个买单吧APP,这个APP主要是促进某行的客户用其信用卡进行消费,用户用信用卡消费后可以来买单吧APP进行抽奖,普通信用卡每天可以抽奖3次,生肖卡每天可以抽奖6次,具体不说业务了,银行的业务都很复杂的,问题是:消费者用信用卡消费了,却没有加上抽奖次数。
2、导致的结果:通过grafana监测发现生产消费的信息存在堆积,消费者的消费能力弱,被剔除群组。
3、出现的原因主要分为以下几点:
3.1、消费者里的业务代码扩增,导致消费者在两次poll期间不能处理掉业务,最后提交偏移量失败,报commitException.....
3.2、我们的消费下游topic只有一个partition,没有很好的运用kafka的高吞吐、高性能这一优点。
3.3、下游接受到消息后只开了一个单线程去处理数据。
4、解决问题方法:
4.1、在消费者下游新增了一个分区,用来分担单分区的压力。
4.2、启用线程池去处理上游推送的信息。
4.3、消费者业务代码里需要和第三方系统(智能头条)进行交互,原先的做法是一条数据就往智能头条推送一笔,假设每次与智能头条进行交互建立网络开销时间0.01s,那500条的数据量的时间就是0.01*500,优化策略:我们在数据量达到500条的时候,才推送智能头条。
5、以下分享常用解决消息堆积问题的策略:
5.1、每个topic多设置分区数,提高并行消费得力度。
5.2、消费线程每次拉取的消息数可以适当调大,但是不能超过两次POLL默认配置的时间5秒,因为超过5秒,kafka就会触发rebalance,会认为这个消费者消费能力不足,把消费者提出消费组。
5.3、消费者提交偏移量改为自动提交。
5.4、合理的运用线程池去提高消费者处理消息的效率。