故障处理——华为USG6308E防火墙内存泄漏故障的处理过程

故障名称

华为USG6308E防火墙内存泄漏故障

故障发生时间

2020年3月6日17时左右

故障描述

1、系统访问异常，间歇性报504错误。
2、用户登录系统，间歇性退出。
3、华为防火墙web登录及其缓慢，偶尔登录后无法展示日志内容和页面。

故障分析

1、2020年3月6日下午，公司客服人员反馈有用户登录时突然掉线。然后又迅速恢复。公司研发人员开始排查问题。发现系统开始间歇性出现504错误。
2、因为公司前端部署了阿里云的SCDN服务。先分析是否scdn的问题。经查，scdn是正常的，但是从scdn回源到服务器上时报出了大量的504错误。而scdn回源的流量是先要通过华为防火墙的，因此开始排查防火墙的问题。
3、登录华为防火墙时出现了连接超时，登录及其卡顿，无法访问流量日志等异常情况。因此初步判断是防火墙的问题。

处理过程

• 1、经过与华为技术支持的沟通，华为方面建议升级华为防火墙的系统版本，原系统版本存在内存泄漏的问题。原版本为V600R006版本，建议升级为V600R007版本。于是开始尝试远程在及其卡顿的情况下备份防火墙配置文件并升级系统，但是一直无法成功。

  2、星夜直奔机房，在机房通过console线直连防火墙尝试备份配置文件并升级系统。但还是超级慢，无法成功。在与华为技术支持的沟通中,尝试导出华为防火墙的diag文件，也是超级慢。耽误了大量的时间，导出完毕后发给华为技术支持让他们帮忙分析。然后华为那边就杳无音讯了。之后尝试将防火墙初始化，也无法成功。

  3、鉴于业务方面的压力，而且华为那边一直没有回复。决定更换防火墙。将测试环境机柜的同型号防火墙换过来。首先将测试环境防火墙的配置文件导出备份。再将防火墙初始化，换到生产环境的防火墙位置上，把原生产环境防火墙换到了测试环境防火墙的位置。
  4、初始化后防火墙可以正常登录访问。首先升级防火墙的系统版本，因为没有配置文件，只能将按照导出的diag文件一条一条手动去恢复原来防火墙的配置。直到3月7日凌晨5点左右，生产环境防火墙基本恢复。生产环境业务系统恢复正常。其他系统也逐步恢复。
  5、3月8日，再次去机房初始化测试环境的防火墙，导入之前备份的测试环境防火墙配置文件，测试环境恢复。

经验总结

1、加强对防火墙的监控。及时对系统版本和软件版本进行升级。
2、定期做好防火墙配置文件的备份。
3、目前防火墙是单机运行，建议公司对防火墙做双机热备。