我们使用zabbix来对服务器资源进行监控, 一天晚上 (~ 非要晚上)
收到报警提醒 一个mongodb集群连接数过高
该mongodb集群的连接数上限设置为4096, 监控连接数超过2千就报警
- 报警信息
- 之后进入这些服务器检查 连接来源
使用命令 netstat -anp | awk -F ':' '{print $2}' | grep 27017
27017为这台服务器mongo服务的端口号 。 列出所有连接的来源 发现一个ip的服务器过来的连接超级多~
分析mongo日志发现该服务器只有进行连接 没有操作和断开连接的请求
- 进入来源服务器,排查
还是通过端口连接检测发现 全部是同一个进程连接的mongo
通过最后的进程号信息,定位到这个进程 是一个node服务
赶紧联系该服务的开发人员~~~ 睡觉