2017年11月25日中心广播服务器宕机故障报告
一．故障介绍
2017年11月25日晚上20：05分左右，中心值班人员张祺和杨星宇接维调及多个车站报车站上下行无列车进站广播，初步判断为全线列车进站广播为为中心广播服务器故障导致。于是立刻查看中心机房内广播网管服务器，发现已卡死、无法做任何操作。联系广播厂家张继劝并说明情况后，决定更换并重新配置一台新的控制中心广播服务器。11月26日凌晨03：59分配合厂家完成配置新的中心广播服务器并上电加以测试成功。早上7：57分，全线列车进站广播已恢复正常，但4号线二期钟家村到黄金口ISCS广播无法播放。2017年11月27日下午15：43分厂家更换广播中心服务器应用程序后，全线列车进站广播及ISCS广播彻底恢复正常。
二．故障处理
2017年11月25日晚上20：05分左右，中心接维调及多个车站报该站上下行没有列车进站广播。
2017年11月25日晚上20：07分~20：26分中心值班人员立刻查看广播网管发现软件已经卡死，初步判断为中心广播服务器故障，于是在该服务器上接入显示器及鼠标，发现服务器已卡死，画面显示已定格。
2017年11月25日晚上20：24分联系广播厂家张继劝并说明情况后，厂家远程指导硬重启中心广播的服务器。经过十分多钟后的观察，重启后发现广播服务器无法正常启动。
(厂家远程指导重启后，广播服务器无法正常启动，与广播服务器连接的显示器无画面)
2017年11月25日晚上20：49~21：03分中心值班人员将该故障情况告知于线路主管吴开颜，系统负责人梁印，包保工程师薛孟及工班长刘广超。并立即向厂家说明故障情况并共同商量处理办法，于是决定更换并重新配置一台新的控制中心广播服务器。
2017年11月25日晚上22：16分，中心值班人员在工班电脑上下载WindowsServer2008操作系统，并将此系统安装在8号线备用的服务器上。
2017年11月25日晚上23：07分~次日凌晨03：59分，配合厂家开始重新配置控制中心广播服务器，并测试铁机路及其他多个站点ISCS广播的播放情况，发现ISCS广播均能正常播放。
(重新配置的一台新的中心广播服务器)
2017年11月26日早上06：45分中心值班人员向多个站点的车站值班人员及正线值班人员确认，发现列车进站广播全线均无法播放，ISCS广播一期正常，二期无法播放。
(ISCS预录广播上显示的反馈不对，点击“播放”后，通道一直处于占用状态，无法正常播放)
2017年11月26日早上07：17分~07：57分与厂家联系并说明情况后，经紧固与信号连接的串口线后，全线列车进站广播恢复正常，ISCS广播二期站点仍无法播放，目前情况为：列车进站广播全线正常。ISCS广播钟家村到黄金口无法播放，其他站点均正常。
(紧固中心广播服务器与信号连接的串口线后，全线列车进站广播恢复正常)
2017年11月27日下午15：43分更换中心广播服务器应用程序后，钟家村到黄金口ISCS广播恢复播放，列车进站广播及ISCS广播业务已彻底恢复。
(全线列车进站广播及ISCS广播业务完全恢复，广播网管显示各站点设备一切正常)
三．故障分析：
此次中心广播服务器宕机是由于服务器硬盘故障导致，列车进站广播和ISCS广播都是由中心统一管理，ATS系统在控制中心通过广播服务器向车站下发到站广播信息；广播系统与ISCS的车站分区信息需要从中心服务器获取，中心服务器的宕机，直接导致了全线广播系统列车到站广播和ISCS广播无法正常播放。
重新配置新的中心广播服务器后采用与正线车站相同的工控机做服务器，由于备份程序都在控制中心的服务器中，服务器宕机，只能才有之前的备份程序，由于备份程序不是最新，架构起新的中心服务器后，导致了二期ISCS广播无法播放，最后从宕机的服务器硬盘中拷贝出备份程序后再安装新的服务器中，全线故障恢复。
四．预防措施：
为了防止类似故障发生时长时间造成影响，建议以后在招标过程中，控制中心广播系统设备按照硬件主备进行采购，即招2份中心设备，调试过程中，备用设备做同样配置，一旦主设备出现故障，可以随时把备用设备进行开机顶替。
4号线中心工班
20171210
扫一扫
143
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
