解析IBM x3850 RAID5服务器故障恢复方案

【基本信息】

    服务器型号:IBM X3850服务器,

    硬盘型号:73G SAS硬盘,

    硬盘数量:5块硬盘 其中4块组成一个RAID5,另一块做为热备盘(Hot-Spare),

    操作系统:linux redhat 5.3,应用系统为构架于oracle的一个oa。

【故障表现】

    3号盘早已经离线,但热备盘未自动激活rebuild(原因不明),之后2号盘离线,RAID崩溃。

    oracle已经不再对本oa系统提供后续支持,用户要求尽可能数据恢复+操作系统复原。

【初检结论】

    热备盘完全无启用,硬盘无明显物理故障,无明显同步表现。数据通常可恢复。

【恢复方案】

    1、保护原环境,关闭服务器,确保在恢复过程中不再开启服务器。

    2、把故障硬盘编号排序,用以确保硬盘取出槽位后可以完全复原。

    3、将故障硬盘挂载至只读环境,对所有故障硬盘做完全镜像(参考<如何对磁盘做完整的全盘镜像备份>)。备份完成后交回原故障盘,之后的恢复操作直到数据确认无误前不再涉及原故障盘。

    4、对备份盘进行RAID结构分析,得到其原来的RAID级别,条带规则,条带大小,校验方向,META区域等。

    5、根据得到的RAID信息搭建一组虚拟的RAID5环境。

    6、进行虚拟磁盘及文件系统解释。

    7、检测虚拟结构是否正确,如不正确,重复4-7过程。

    8、确定数据无误后,按用户要求回迁数据。如果仍然使用原盘,需确定已经完全对原盘做过备份后,重建RAID,再做回迁。回迁操作系统时,可以使用linux livecd或win pe(通常不支持)等进行,也可以在故障服务器上用另外硬盘安装一个回迁用的操作系统,再进行扇区级别的回迁。

    9、数据移交后,由我数据恢复中心延长保管数据3天,以避免可能忽略的纰漏。

【预估周期】

    备份时间:2小时左右

    解释及导出数据时间:约4小时

    回迁操作系统:约4小时。

【过程详解】

    1、对原硬盘进行完整镜像,镜像后发现2号盘有10-20个坏扇区,其余磁盘均无坏道。

    2、通过对结构的分析得到的最佳结构为0,1,2,3盘序,缺3号盘,块大小512扇区,backward parity(Adaptec),结构如下图:

 

    3、组好后数据验证,200M以上的最新压缩包解压无报错,确定结构正确。

    4、直接按此结构生成虚拟RAID到一块单硬盘上,打开文件系统无明显报错。

    5、确定备份包安全的情况下,经客户同意后,对原盘重建RAID,重建时已经用全新硬盘更换损坏的2号盘。将恢复好的单盘用USB方式接入故障服务器,再用linux SystemRescueCd启动故障服务器,之后通过dd命令进行全盘回写。

    6、回写后,启动操作系统。

    7、dd所有数据后,启动操作系统,无法进入,报错信息为:/etc/rc.d/rc.sysinit:Line 1:/sbin/pidof:Permission denied,分析为此文件权限有问题。

    8、用SystemRescueCd重启后检查,此文件时间、权限、大小均有明显错误,显然节点损坏。

    9、重新分析重组数据中的根分区,定位出错的/sbin/pidof,发现问题因2号盘坏道引起。

    10、使用0,1,3这3块盘,针对2号盘的损坏区域进行xor补齐。补齐后重新校验文件系统,依然有错误,再次检查inode表,发现2号盘损坏区域有部分节点表现为(图中的55 55 55部分):

 

    11、很明显,虽然节点中描述的uid还正常存在,但属性,大小,以最初的分配块全部是错误的。按照所有可能进行分析,确定无任何办法找回此损坏节点。只能希望修复此节点,或复制一个相同的文件过来。对所有可能有错的文件,均通过日志确定原节点块的节点信息,再做修正。

    12、修正后重新dd根分区,执行fsck -fn /dev/sda5,进行检测,依然有报错,如下图:

 

    13、根据提示,在系统中发现有多个节点共用同样的数据块。按此提示进行底层分析,发现,因3号盘早掉线,帮存在节点信息的新旧交集。

    14、按节点所属的文件进行区别,清除错误节点后,再次执行fsck -fn /dev/sda5,依然有报错信息,但已经很少。根据提示,发现这些节点多位于doc目录下,不影响系统启动,于是直接fsck -fy /dev/sda5强行修复。

    15、修复后,重启系统,成功进入桌面。启动数据库服务,启动应用软件,一切正常,无报错。

 

    到此,数据恢复及系统回迁工作完成。

  • 0
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
网吧快速还原系统采用最新的动态还原技术。在不重启动操作系统的情况下,可以动态地实现还原、转存、保护状态转换和打开写入设备等操作。即可实现从可写设备写入数据后,动态还原为写入后的状态,实现真正意义上的“穿透更新”。 安装: 运行setup.exe,点安装驱动按钮即可。注意:安装本还原软件前,请卸载掉其他还原软件和还原卡。该软件本身就是一款还原软件。注意:请一定要先装好系统后,再装还原。装好还原后,不要克隆该系统。 使用: 运行setup.exe,选择需要操作的分区后,再选择保护状态和执行命令,最后,点应用即可。注意:对系统盘(C盘)和页面文件(pagefile.sys)所在盘符操作时仍然需要重启,对其他盘符操作时,会强制关闭打开的文件并执行操作(不需要重启)。 卸载: 运行setup.exe,点卸载驱动按钮后重启动即可完成卸载,系统会自动转存数据。 如果忘记了还原密码而导致无法卸载,只要在纯DOS下格式化C盘或者ghost恢复系统,还原即被移除。 快速安装:(假设setup.exe在D:\) 如果要安装驱动,密码设置为123,还原保护C、D盘。 请运行 D:\setup.exe /install /password:123 /protect:CD 如果需要安装驱动的同时设置启动保护,请加上/check 请运行 D:\setup.exe /install /check /password:123 /protect:CD 快速卸载: 如果还原密码为123,要卸载驱动。 请运行 D:\setup.exe /uninstall /password:123 启动保护: 在安装好驱动,并设置好还原保护分区后。运行setup.exe,点启动保护按钮,输入密码后,就可以每次开机检查还原分区是否处于还原状态。如还原分区因为更新时强行关机而失去保护,会自动转入还原状态。 手工备份文件: 可用增加备份文件和重设备份文件命令,手工添加需要备份的系统重要文件。如:(c:\windows\system32\userinit.exe)上述文件系统已经自动加入,已经可以免疫“机器狗”等穿透还原型病毒。 “机器狗”病毒资料 http://www.pubgen.net/bbs3/dispbbs.asp?boardID=4&ID=579&page=1 安装注意: 1、如果安装快速还原时出现设置失败,(ErrorCode=:0x5) 和 (ErrorCode=:0x2)错误,请先删除c:\protect.sys 和 c:\windows\system32\drivers\fakedisk.sys 文件后,再安装。 2、安装后,启动计算机按F8,选最后一次正确的配置,还原就会失效。 解决办法是:安装后,运行setup.exe,选C盘保存命令,再点应用,重起即可。最彻底解决方法是,安装补丁,屏蔽F8。 3、安装该还原系统后,不能再用ghost打包系统或整盘成镜象文件。应该打包没有安装还原的系统,恢复镜象后再装还原。客户机也要先卸载老的快速还原再克隆。 万一发生了安装驱动再克隆的情况,被克隆机器的还原卸载方法是:删除HKEY_LOCAL_MACHINE\SYSTEM\CurrentControlSet\Control\Class\{4D36E967-E325-11CE-BFC1-08002BE10318}\UpperFilters里面的fakedisk键并重起,再重新安装快速还原即可。 4、使用NF4主板的系统安装还原后,系统会启动缓慢是由于与他的驱动(NVIDIA IDE SW 驱动程序)冲突导致的。请卸载该驱动! 5、请打开Logical Disk Manager服务,不然动态切换还原状态后会提示找到新磁盘驱动器硬件。 6、快速还原系统与网吧收费软件pubwin EP的还原功能相冲突,请删除pubwin EP的genfs.sys文件即可。 对于Pubwin2007用户在使用菜单和快速还原时会发生蓝屏的现象只需要下载本补丁http://www.hintsoft.com.cn/Genfs.zip 在Pubwin中进行替换即可。如果还不行,删除genfs.sys文件。 7、请禁用操作系统的Shell Hardware Detection服务,以避免动态还原时,出现自动打开文件的对话框。 8、请使用字符命令 chkntfs /x c: d: e: 关闭操作系统启动时的磁盘检查,以避免频繁出现的文件损坏现象。 9、安装还原后,如果出现输入了正确的密码仍然显示密码错误无法登陆setup.exe管理界面,即使恢复了系统也不行。这个情况是因为你没有正常卸载老的还原或者打包的ghost镜象文件里有安装好的还原系统导致的。请用 FDISK /MBR 重建主磁盘的主引导记录,然后去除掉ghost镜象文件里安装好的还原,再重新恢复系统即可。 优化注意: 1、因为动态切换还原状态时会对整个保护分区重新扫描,建议把分区大小调小,多建立几个分区(如:系统盘、网络游戏盘、单机游戏盘和网友专用盘)。每个分区不要超过128G,大小60G以内比较好,建议用NTFS格式,,格式化时分配单元大小(族)尽量大些。 2、在“我的电脑”的系统属性->高级->性能->高级->处理器计划和内存使用 里,设置为调整以优化程序性能。 3、操作系统的虚拟内存页面文件请不要放在需要动态还原和穿透写入的分区!最好单独一个分区或者放在C盘,并预留足够的磁盘空间以备使用。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值