经验累积之数据库故障反映的存储问题

接到客户电话说数据库连不上了，客户很着急。闲话不说，远程连上服务器。

SQL*Plus: Release 11.2.0.4.0 Production on Fri Aug 12 02:34:49 2016


Copyright (c) 1982, 2013, Oracle.  All rights reserved.


Connected to an idle instance.

生产数据库居然停库了，问题很严重，startup试验下报错

文件系统写保护了？

果断进入 /oradata目录

vi aa.txt

保存失败。

基本断定硬件故障，至少是/oradata故障。

查看目录权限

文件权限正确，再次确定存储故障。

查看操作系统日志，有i/o报错

Aug  7 04:03:02 xxxx syslogd 1.4.1: restart.
Aug  7 11:21:33 xxxx kernel: end_request: I/O error, dev sdc, sector 0
Aug  7 11:21:33 xxxx kernel: printk: 16 messages suppressed.
Aug  7 11:21:33 xxxx kernel: Buffer I/O error on device sdc, logical block 0
Aug  7 11:21:33 xxxx kernel: end_request: I/O error, dev sdc, sector 0
Aug  7 11:21:33 xxxx kernel: Buffer I/O error on device sdc, logical block 0

查看mcelog （linux系统特有的在硬件出现故障时会生成该文件）

MCE 0

HARDWARE ERROR.This is *NOT* a software problem!

Please contactyour hardware vendor

CPU 6 BANK 6 TSCa10600906f0ed0 [at 2128 Mhz 246 days 12:21:15 uptime (unreliable)]

MISC10fe284004c13013 ADDR ac6bc240

MCG status:

MCi status:

Error enabled

MCi_MISC registervalid

MCi_ADDR registervalid

MCA: GenericCACHE Level-3 Generic Error

STATUS9c2002372005010b MCGSTATUS 0

WARNING: SMBIOSdata is often unreliable. Take with a grain of salt!

至此，完全可以下结论确定存在硬件问题。

那么一方面通知客户核查操作系统、存储、光纤链路以及光纤交换机，处理硬件问题，

另一方面要求客户趁现在硬盘可用，做数据库冷备（将控制文件、数据文件、参数文件、日志文件等）拷贝下来。

当然我这系统搭建有dg容灾系统没有实施冷备工作，总之多做几手准备没有错。