背景
负责的自定义查询系统,使用了rabbitMQ,来实现异步查询。
即web端查询,先提交到消息队列,同时发起轮询请求拉取查询结果;
多进程消费者从消息队列中取消息,触发查询引擎查询;
查询引擎响应后,产出文件到服务端;此时web端轮询请求,获取到响应,完成本次查询。
问题
系统运行过程中,性能很差,偶发卡顿现象;需要人为干预,杀死查询process才能保证系统正常。
定位过程
(1)以为是系统用户,看到不出结果,反复提交相同sql;
(2)sql查询处,加了查询态不允许提交的前端限制,仍然有重复sql提交到gp;
(3)后来发现,平台提交了一次,查询引擎处有多条sql执行;
(4)然后锁定了问题范围,“web服务多次提交到mq”或者“mq消息多次消费”;
(5)分析消费者代码和日志,发现mq连接隔一段时间,会断开连接;
#伪日志
Pid: 29354, Start Watching Rabbitmq
Pid: 29354, receive msg[body:xxx][userName:xxx]
Pid: 29354, receive msg[body:xxx][userName:xxx]
Pid: 29354, Rabbitmq connection closed, reconnecting...
Pid: 29354, Start Watching Rabbitmq