最近遇到了一个重复消费的问题,系统配置比较简单,由于本人是个kafka小白,想请教一下为什么会出现重复消费这种情况:
1、这个消息主题只发了一个消息。
2、kafka分区只有一个,消费者组只有一个消费者,系统没有重启过。
3、这个消息被消费了两次,两次的时间是连上了,第一次是消费了12秒,第二次在12秒之后又消费了第二次消费耗时2秒。
4、查看日志没有发现rebalance相关的日志,没有提交不了偏移量相关的日志。
5、应用系统一直有和这个消费无关的错误产生。
6、服务器配置比较低,kafka的内存分配了1G,应用的内存2G,服务器还有其他应用,服务器总共16G的内存,剩余的空闲内存160M。