DC故障恢复记录

8：00，客户来电DC server不断的重新启动，每次都启动不起来，很多次在检测内存时就自动重启，偶尔可以启动到windows加载硬件项，但是在Apply Computer Setting开始重新启动，不能进入系统，安全模式同样不行。客户为日资外企，域控不能启动，相当于一半的工作不能正常进行，所以接到电话立刻赶往。

8：10~8:30,赶往客户途中，分析现象，2004年购入的DELL PowerEdge 2850,安装windows 2003 server std r2考虑硬件故障,主板，侧板，背板，内存，都在考虑当中，具体那一部分等待到达进一步分析。

8：35，到达客户机房，该server功能比较多，主要运行DC,用友U8，TREND OFFICE SCAN SERVER,PRONES,VIRTAS 10.0 BACK UP,SHARE FOLDS,平时运行比较繁忙，主要是制造课，业务科，品检课的工作比较多，现在机器瘫痪直接导致的是整个公司的一半以上人员不能正常工作，整个公司紧张中，主要负责领导见到之后指示尽快解决邮件的收发问题，还有就是用友U8，因为接近发工资的时间，考勤和人事系统均在该SERVER，个人感觉压力。

8：40，正式在机房进行检测，开机，进入内存检测进度，跳掉，有开始重启，再开机，按F2进入BIOS进行查看，硬盘没有问题，内存同样正常，未见异常现象，退出重启，内存检测跳过，进入windows进度条，以为正常能进入系统，旁边负责机房的小姑娘开始大喊，可以了，我说，别急，话音未落，又开始重启了，旁边人郁闷中，重启开始，F12进入PXE中，查看硬件信息，四个硬盘，73G*4，RAID5，SCSI均正常，退出关机，把电源，拔掉连载机器上的所有的连接线，SCSI接的磁带机，网线，发现还有一台机器与该SERVER做的双机直连，再加电重启，F8进安全模式，跳掉重启，再次同样在apply computer setting时重启，在断电，开机箱，插拔内存，未见有何反应，此时可以大致确定是硬件故障，从而报告客户，保修DELL，预定配件。

9：30，DELL服务器800电话，800-858-0960，对方询问现象，直接反馈信息，主板，侧板，或者内存条故障，因为已经过保，从而进行4小时故障派单，需要支付硬件预付款，攻击8k左右，具体订单传真告之，从而等待DELL硬件。

9：40，邮件使用的是35邮局，在各机设置电信DNS，直接可以收发邮件，不经过域控，邮件正常。

9：50，客户公司的邮件整体恢复正常，可以进行一部分的办公事务。

9：55，向客户了解该现象的具体发生时间，客户不清楚。

10：00，离开。

15：30，DELL配件到达，使用DELL主板，侧板，内存，一一测试，发现现象正常，DELL工程师一头雾水，运行32位硬件检测系统，检测进行到一半的时候出现报错，还未来得及抄写完毕，有重新启动了，大改是0x3c000009e,报错，DELL进行技术支持，未见回复。

16：50，运用PE盘进系统，成功一次，在重启，状况依旧。

17：00，客户公司下班，基本的日常工作没受太大的影响，继续进行硬件排除，未见效果。

17：55，硬件的测试未见故障，但是系统依旧不能正常进入，排除大件故障，DELL engineer怀疑自己所携备件的问题，声称第二天换新的备件再进行测试。

第一日整体未果，思来想去，电源一直没有怀疑，现象表示电源的可能性极大，致电DELL，明日携带电源。

第二日，9：00，客户来电，DELL配件已到，再次前往。

9：30，到达客户公司，表示今日必须解决问题，DELL engineer已到，讲已将电源换上，开机，仍旧不行，换在新的主板，侧板，背板，仍旧不行，测试再测试，整个上午都在测试中度过，未见具体效果。

12：00，午饭时间，细想一直为考虑硬盘故障，电源供电问题，准备下午尝试。

12：30，装双电源，换回原来的主板，背板，侧板，拿掉SCSI卡，运行32位测试，通过，中途光驱软驱报错，忽略，断电，拔下光驱，软驱，进PXE，独立出来HOTSP盘，准备装一个2003server进行测试硬件。

13：00，安装新的server2003是发现硬盘不能写入，能读不能写，关机，拔下HOTSP硬盘，查看电路板，发现焊点氧化严重，整体发黑，考虑到机房环境以及客户为化工生产企业，硬盘基本报废。

13：10，进安全模式正常，考虑硬盘故障，查看日志记录，发现APC错误日志蛮多，并且重启发生在客户告知的前一天晚上，考虑系统问题，到此锁定硬盘+系统故障。

13：50，告知客户，订购两块SCSI146G硬盘，因检测到其他硬盘同样氧化严重，会影响到今后的使用。

14：00，等待硬盘的到货过程，利用这段时间，进入安全模式，关闭APC,TREND,U8,BACK UP所有服务，重新开机，进入系统正常，故障进一步确认，系统在加载过程中有些服务启动项不能正常加载。

14：30，逐个测试系统的加载服务，确定到APC加载错误上面，此时的系统已经正常运行，在正常情况下，APC服务不能正常启动，一直停留在STOPING或者starting上面，关闭失败。

16：00，硬盘到，两块硬盘做RAID1,将原硬盘RAID5系统整体移植（克隆）到新硬盘，在进行下一步操作。

17：00，下原server三块硬盘，使用新硬盘，关闭APC AGENT+APC SERVER服务的情况下进入系统，DC正常，用友U8正常，OFFICE SCAN正常，其他服务端均正常。进入客户机查看，ERP，共享，均没有问题。卸载APC管理软件。

锁定故障：电源供电+SPC

18:00,故障排除。

总结：

1.反复重启，在主要硬件的排除结束之后重点考虑电源。

2.系统故障，考虑服务加载过程中对硬盘的读取上面，大量的数据交换既有可能是有些许服务项未能正常启动。

3.系统全备份。

4.域控系统备份。在域中增加一台DC，同步域控信息。

5.服务器系统整体克隆。

6.逐渐排除，故障现象的明显，增加用友等的知识迫在眉睫。

7.一下几个工具的使用：BE,BESR.

8.感谢王某人的无私的技术支持。