遇到RAID5阵列硬盘出现问题的情况该如何解决？

最新推荐文章于 2024-05-03 18:35:09 发布

csdn1008610

最新推荐文章于 2024-05-03 18:35:09 发布

阅读量1.9k

点赞数

【 故障描述 】

华为 S5300，12块FC硬盘，整个存储空间由 450 GB和600G FC的硬盘组成，其中11块硬盘组成一个RAID5的阵列，剩余1块做成热备盘使用。由于 RAID5阵列中出现1块硬盘故障，热备盘成功激活，在进行同步的过程中又一块硬盘出现故障，因此导致RAID5阵列瘫痪，上层LUN无法正常使用。

【 恢复过程 】

一 、检测磁盘

由于存储是因为 RAID阵列中某些磁盘掉线，从而导致整个存储不可用。因此接收到磁盘以后先对所有磁盘做物理检测，检测完后发现一块硬盘有物理故障，其他硬盘没有物理故障。

二 、备份数据

考虑到，数据的安全性以及可还原性，在做数据恢复之前需要对所有源数据做备份，以防万一其他原因导致数据无法再次恢复。使用 dd命令或winhex工具将所有磁盘都镜像成文件。

三 、故障分析

1 、分析故障原因

由于前两个步骤并检测到磁盘有物理故障，由此推断可能是由于某些磁盘读写不稳定和物理故障导致故障发生。因为华为 S5300 控制器检查磁盘的策略很严格，一旦某些磁盘性能不稳定，华为 S5300 控制器就认为是坏盘，就将认为是坏盘的磁盘踢出 R AID组。而一旦 R AID组中掉线的盘到达到RAID级别允许掉盘的极限，那么这个RAID组将变的不可用，上层基于RAID组的LUN也将变的不可用，之后又新建RAID，有一块硬盘在同步的过程中被损坏，目前初步了解的情况为基于RAID组的LUN分配给linux系统使用，重要数据为Oracle 数据库。

2、分析RAID组结构

华为 S5300 存储的 LUN都是基于RAID组的，因此需要先分析底层RAID组的信息，然后根据分析的信息重构原始的RAID组。分析每一块数据盘，发现一块盘的数据同其它数据盘不太一样，初步认为可能是 hot Spare盘。接着分析其他数据盘，分析Oracle数据库页在每个磁盘中分布的情况，并根据数据分布的情况得出RAID组的条带大小，磁盘顺序及数据走向等RAID组的重要信息。

3、分析RAID组被同步损坏盘

根据上述分析的 RAID信息，尝试通过北亚自主开发的RAID虚拟程序将原始的RAID组虚拟出来。但由于整个 RAID组中掉线两块盘并且有一块硬盘数据被同步损坏。仔细分析每一块硬盘中的数据，发现有一块硬盘在同一个条带上的数据和其他硬盘明显不一样，因此初步判断此硬盘可能是被同步掉损坏的硬盘，通过北亚自主开发的RAID校验程序对这个条带做校验，因此可以明确被同步损坏盘了。

4、分析RAID组中的LUN信息

由于 LUN是基于 RAID组的，因此需要根据上述分析的信息将RAID组最新的状态虚拟出来。然后分析 LUN在RAID组中的分配情况，以及LUN分配的数据块MAP。因此只需要将LUN的数据块分布MAP提取出来。然后针对这些信息编写相应的程序，LUN的数据MAP做解析，然后根据数据MAP并导出LUN的数据。

四 、解析 EXT3 文件系统

1、解析 EXT3文件系统

由于是使用热备盘虚拟的 RAID结构，EXT3文件系统无法正常挂载，所以只能提取oracle数据库文件，利用自主开发的文件系统解析程序对其进行文件系统的解析，导出 o racle数据库文件，并把数据库文件移交给数据库工程师进行校验和验证

五 、检测 Oracle数据库文件及修复

1 、检测数据库文件是否完整

使用 Oracle 数据库文件检测工具检测每个数据库文件是否完整，发现有错误。再使用北亚自主研发的 Oracle 数据库检测工具（检验更严格），发现有部分数据库文件和日志文件错误， system 和 sysaux 表空间各存在 100 多坏块； 3 个控制文件都存在坏块许多坏块，控制文件全部损坏； eschoolspace 表空间的 3 个文件的坏块更多，达到 1000 个； undotbs02 丢失；数据库工程师对此类文件进行修复，如下图：

2 、修复 Oracle 数据库

我们创建了控制文件，创建 undo 表空间，启动数据库到 mount 。 system 数据文件坏块使得数据库不能 open 。各种隐含参数也不能绕过 system 的坏块；搭建数据库环境。使用 dmp 文件还原数据库。使用 3 月 9 号之后的导入，都报错，大约只能导入 10G 左右的数据，如下图：