事情经过是这样的:

    1、某台mongodb01服务器上数据盘空间不足,临时挂载了个NFS,先尝试让服务恢复起来。

    2、运行30分钟后,发现达不到效果。于是nfs方案废弃。

    3、DBA在nfs服务器上,直接将 /mnt/mongodb01 这个目录删除了(注意:当时操作的时候,忘记db01上nfs目录还没有卸载掉)

    4、大约1小时后,监控系统告警,提示db01 系统负载高达3000

         image.png

    5、DBA登录db01服务器,top、dstat命令查看没有搞CPU的进程,磁盘读写也非常低。

    6、习惯性的执行了一下 df 命令,发现非常卡顿,没法执行下去,直接强行关掉xshell会话。想起来这台机器的NFS盘还没卸载掉。


解决:

    step1、再次到db01上执行 umount 尝试卸载nfs盘。 再次执行 df ,可以正常。 但是观察段时间,发现系统负载还是很高,根本没有降下来。


    step2、在nfs上再次创建 /mnt/mongodb01 目录。 然后在 db01上,再次挂载nfs。 挂载成功后,再次执行下卸载操作(umount -l /mnt/mongodb01)

    经过这顿骚操作后,看了下系统负载终于降下来了。

    image.png