一次消息堆积的来龙去脉:
通过消息消费的进度来查看消息的堆积
#可以看到当前的消费进度(CURRENT-OFFSET)、消息进度(LOG-END-OFFSET)、落后量(LAG):
./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group pojectMsgMqTopic
通过如上命令看到消息堆积了715条消息.
引起消息堆积的原因:
1.kafka参数配置的不合理
从而导致因为当前消息的数据量比较大,从而耗时太久
第二个问题: 因为消息体太大,导致生产消息发送到kafka失败,调整如下参数:
重启消费者:
消息完全消费
1.重点关注kafka相关参数的调整
2.业务上要求,每次最大的消息体为100M