文献管理与信息分析_快速响应,深入分析——信息管理部解决T2航显系统白屏问题...

T2航显系统近期多次出现白屏故障,信息管理部与信息公司合作排查,发现并发请求导致的系统问题。采取措施包括升级数据库连接池、增加服务器、监控系统状态、优化数据库性能等。在多次调试与改进后,成功解决白屏问题,确保了航班信息显示的稳定运行。
摘要由CSDN通过智能技术生成

点击蓝字 关注我们

名词解释

     T2航站楼航班信息显示系统(以下简称航显系统),是指T2航站楼内,显示始发、到达或转港飞机的班次、时间、机号、地点等信息的系统装置。不仅旅客关心航班信息,驻场各单位工作人员也需要了解航班信息,以便进行运输服务和生产调度。因此,航显系统是机场保障旅客正常流程的重要环节,是机场直接面向旅客提供公众服务的重要手段,同时又是机场与旅客进行沟通的一扇窗口。

36263d55d967d4f17f2842d657afa5e5.png

通过航显系统获取到港航班的接机旅客

      T2航显系统一共有一千余块航显终端屏幕,自2018年启用以来,现已运行近3年时间。近期,T2航显系统于8月6日、8月15日、9月4日及9月6日分别发生白屏故障。故障现象为:T2航站楼多块(20-60块)航显屏出现白屏报错,故障点位不固定,随机分布。四次故障信息公司都在有效时间内恢复,未对生产造成影响。

730d27798124780986c1f199ddcedff2.png

出现白屏故障的航显系统终端

     8月6日发生第一起航显系统白屏事件时,信息管理部带领信息公司进行故障原因分析,分析结果是:由于大量航显客户端断线之后立刻自动重连,重连后重新请求显示资源,并发情况下导致部分航显屏调用显示资源超时,因此出现少量的航显屏白屏的现象。征得信息管理同意后,信息公司采用的措施是:

     1.对航显系统进行全流程检查,确认航显系统正常运行。

     2.对整个航显系统网络情况进行排查。

     3.增加一台dubbo服务器(由原来的两台变为三台),提高服务的冗余负载能力。

     4.部署dubbo-monitor监控,监控dubbo服务注册到zookeeper状态。

     5.在已有的进程状态监控之外,通过监控web与dubbo连接状态,实现对dubbo服务的运行状态的监控。

2d5f6238407f0fab76e452f62a0dd546.png c7d9d170-0a37-eb11-8da9-e4434bdf6706.svg

事件策略测试

c9d9d170-0a37-eb11-8da9-e4434bdf6706.svg

航显系统终端检测

df55d991bb3993a8e3f6cbac895b40a4.png

      8月15日和9月4日再次分别发生两起白屏事件,这两次故障虽然都得到快速恢复,但信息管理部已经开始警觉。三次故障表明这已经不是单纯的白屏故障,而可能是T2航显系统运行达到一定时限后,所出现深层次的系统后台问题。

      信息管理部继续带领信息公司挖掘航显系统服务器、数据库和设备管理服务器等系统架构的原因,一边积极采取措施对航显系统白屏事件进行根治,采取的措施有:

      1.升级dubbo服务器连接数据库的连接池版本,解决dubbo连接数据库连接数溢出的问题。

      2.在设备管理服务器上安装网络检测插件,监测服务端和客户端是否存在网络丢包等问题。

      3.对数据库存在的设备审计表做优化,减少磁盘读写消耗。

      4.研究如何对redis服务器进行详细监控。

      5.在日志易平台添加设备断线监控告警,及早发现大量客户端掉线的情况。

6d67f9b91e2af345226495d3fa708191.png

不停调换应对策略的系统工程师

     9月6日航显系统出现第四次白屏故障,故障立刻在规定的时间内得到恢复,未对生产造成影响。经过第四次航显系统白屏现象,信息管理部察觉可能因出现信息安全、网络风暴等未经证实情况而导致T2航显系统白屏的风险隐患,也侧面证明前期采取的系统故障应对策略未起到成效。

     9月9日上午,信息管理部约谈信息公司,对T2航显系统白屏事件展开讨论:

     1.T2航显系统白屏解决措施,首先是升级dubbo服务器连接数据库的连接池版本,解决dubbo连接数据库连接数溢出的问题;其次要增加一台dubbo服务器(由原来的两台变为三台),提高服务的冗余负载能力;随后,在已有的进程状态监控之外,通过监控web与dubbo连接状态,实现对dubbo服务的运行状态的监控;此外,对数据库存在的磁盘区做优化,减少磁盘读写消耗。

     2.信息公司必须高度重视航显系统白屏事件,必须抓紧时间对航显系统白屏事件进行彻查,杜绝该类事件的故障隐患,防止航显系统该类事件频繁出现后,对生产造成更大的安全隐患。

     3.在未彻底解决航显系统白屏事件前,信息公司要建立航显系统白屏快速处理流程,且增加前端设备巡检人员,加大巡检频率,杜绝航显系统白屏事件对生产造成影响。

403ffd21643631fb58b26759801393b7.png

白屏事件约谈会

      9月11日凌晨,信息公司系统管理员进行了T2航显系统白屏事件解决新策略,采用了以下措施:

      1.将T2航显数据库服务器迁移至宿主机的本地存储上,以提高数据库服务器磁盘读写性能。


      2.完成对T2航显系统相关服务器做服务器重启操作,排除运行环境导致白屏的可能。


      3.将设备服务器迁移至其他宿主机,排除宿主机操作系统以及网络端口的问题。

      完成以上操作后,信息公司系统管理员对T2航显系统进行白屏事件实时监控。截止到9月14日,再也没发生T2航显白屏事件。

      信息管理部凭借着对弱电信息系统运维多年的经验,结合T2航站楼航显系统运营特点,深知航显系统已经运行到开始产生各类问题和故障的时间段,必须要从系统架构上去处理源头,而不能再一味的着手处理前端故障。只有时刻保持对弱电信息系统各类故障的敏感度,才能防患未然各类风险隐患!

        文丨郎军(信息管理部)

        图丨邢丽、吴凑兢、罗春章(信息公司)

        校审丨党群纪检监察审计部

        编辑丨张璐晟莹

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值