JMS集群故障

最新推荐文章于 2022-12-09 16:45:16 发布

机猿巧合.

最新推荐文章于 2022-12-09 16:45:16 发布

阅读量232

点赞数

分类专栏：故障集锦文章标签：经验分享

本文链接：https://blog.csdn.net/m0_60700102/article/details/127422809

版权

集成平台遭遇JMS故障，因134主机问题导致文件锁定，影响集群服务。经过多次重启与资源迁移，最终成功恢复服务。故障原因为宿主机与存储通信异常。解决方案包括优化JMS消息处理、减少消息存储时间、改善存储性能和加强监控，防止类似故障发生。

摘要由CSDN通过智能技术生成

集成平台JMS故障

故障描述

集成平台业务通信中断业务不可用

发现134机器无法登陆，监控脚本报错，weblogic控制台页面显示该主机状态为SHUTDOWN，
私有云团队对134机器排查时发现，虚拟化控制台显示该主机黑屏且无法操作，通过授权后对这台机器进行重启，准备恢复这台主机；
将JMS集群中其余三台主机135/136/137重启JMS服务，但重启失败，显示重启需要加载的文件被锁定，无法打开文件，经过排查发现被锁定的文件，之前均被134这台主机使用，被JMS应用加文件锁；
私有云团队反馈无法重启134这台主机，报错内容为“由于保护JCPT_core_8.32_BCLinux7.3_45.vmdk的锁定已丢失可能是基础存储出现问题”确定是宿主机有问题，准备重启宿主机。
私有云团队反馈重启宿主机有报错，该宿主机共有6台虚拟机，为了不影响其他5台虚拟机业务，正在迁移5台虚拟机到其他宿主机上，保留jms单台虚拟机，迁移完成后对该问题宿主机进行重启；
私有云团队反馈已经将134主机关闭；
第二次在135/136/137重启服务，日志依然报错，集群启动所依赖的文件还是处于被锁定的状态，判断私有云控制台虽显示关闭的该主机，实际并未真正关闭，访问文件的链路未释放，现在需要尽快停掉
等待134宿主机关机，先进行重启，如果重启成功则系统恢复正常，如果重启不成功则说明文件损