kafka一次消息堆积处理

一次消息堆积的来龙去脉: 

 通过消息消费的进度来查看消息的堆积

#可以看到当前的消费进度（CURRENT-OFFSET）、消息进度（LOG-END-OFFSET）、落后量（LAG）:
./kafka-consumer-groups.sh --bootstrap-server localhost:9092 --describe --group pojectMsgMqTopic 

通过如上命令看到消息堆积了715条消息.

引起消息堆积的原因:

 1.kafka参数配置的不合理

 

从而导致因为当前消息的数据量比较大,从而耗时太久

第二个问题: 因为消息体太大,导致生产消息发送到kafka失败,调整如下参数: 

 

 

 

 

重启消费者: 

消息完全消费

1.重点关注kafka相关参数的调整 

2.业务上要求,每次最大的消息体为100M