1.问题场景描述
发货后发送客户七天自动确认收货的消息,上线一个月来消费正常。线上某一天收到反馈,发货已超7天,但是仍未收货,故展开排查,发现所有延迟消息均不能正常消费,其他非延迟消息可以正常消费。
2.查看ROCKETMQ报错日志
在dashboard搜索消费失败的topic消息,然后在服务器上查看报错日志storeerror.log(点击搜索时会打印最新时间的报错日志)
storeerror.log日志地址:/home/rocketmq/logs/rocketmqlogs/storeerror.log
如果你的日志不在该目录下,使用以下命令查询文件地址:
find / -name storeerror.log
报错日志如下:
2023-12-05 13:43:44 WARN PullMessageThread_16 - Offset not matched. Request offset: 20443929130, firstOffset: 21474836480, lastOffset: 22548578304, mappedFileSize: 1073741824, mappedFiles count: 1
3.分析问题原因
由上述日志可以看出,是由于消费者找不到读取的消息偏移位置导致消息不能正常消费。
4.问题解决
- 将delayOffset.json、delayOffset.json.bak、SCHEDULE_TOPIC_XXXX三个文件备份后删除。(如果找不到,使用上述find命令查找)
- 重启broker服务,等待下次消息消费,发现消息已经可以正常消费了。