记一次linux系统gpfs系统故障处理

故障现象：

     客户反应业务系统不能正常访问，物理主机面板有告警灯。

故障判断处理：

   我们到达现场直接用显示器接物理主机，显示登录界面且可以正常登录。

1.查看之后发现网络与网关不通。当时思路是将网络服务重启。重启网络服务卡死无法启动，（思考：当时应该只重启某个网卡）。于是重启操作系统（当时发现系统没有数据库直接reboot）。

2.重启系统报错某些挂载点影响系统重启。

3.强制关机。再次启动系统，系统启动之后发现挂载点无法挂载，系统某系文件变成只读一些man手册使用异常。尝试改变系统只读文件权限无法完成。尝试用mount和mmmount 挂载均报错，无法创建临时文件。判断系统文件受损。

4.再次reboot系统，系统提示需要修复，初次修复之后启动异常。再次启动fsck修复系统文件。

5.重启之后系统正常，gpfs启动和挂载正常。