服务器双系统磁盘阵列冲突,磁盘阵列问题导致宕机的一个案例

出现这种严重的宕机事故，根据经验，我们按照常规步骤，检查了服务器的配置信息：

1、检查操作系统补丁和软件补丁的安装情况。发现操作平台Solaris的补丁是按照Domino6.5.4的要求已经安装的，Domino的平台的补丁也是安装到最新的FP2。

2、检查服务器的Notes.ini文件，没有发现特殊的参数。

3、检查服务器文档也没有发现服务器的一些异常的配置。

我们采取以下紧急排查步骤：

1、替换Names.nsf数据库，再启动Domino服务器，因为这个数据库是Domino数据库的核心数据库，Domino启动的时候，需要依靠这个数据提供参数；

2、把服务器的notes.ini文档的ServerTask后面的所有服务临时删除，再启动测试，这是因为服务器启动的时候，需要启动router、http、amgr等一些服务进程，如果是某个服务有故障、有可能这些服务器会引起服务器的宕机。

3、重新创建mail.box数据库，再启动domino服务器，因为这个数据库也是在服务器启动的时候，自动加载的。

4、重新创建admin4.nsf数据库，因为这个数据库也是服务器启动的时候，自动加载的，是管理服务请求的一个关键数据库。

通过这些常规的处理方式之后，服务器在启动的时候还不能正常启动。

也就是不能进入到一个进程“event monitor started”不能启动log日志功能，这是domino启动的时候，第一个需要启动的服务。

产生的nsd如下：

##############################################################

prog: /opt/lotus/notes/65040/sunspa/server pid(s) : 681

======== Attaching to /opt/lotus/notes/65040/sunspa/server 681

###################################

###### thread 1/1 :: server, pid=681, lwp=1, tid=1 ######

###################################

[1]ff29c718 nanosleep (ffa4f2c0, ffa4f2b8)

[2]fda0f4b0 OSRunExternalScript (ffa4f84a, fed6433b, ffa4fc18, ffa4fbec, 800, 125c00) + 1dc

[3]fda0da04 OSFaultCleanup (10000, 0, 0, 0, fd000000, 10000) + 21c

[4]fd9e9d84 fatal_error (a, ffa502f8, 29c00, 29d40, fee8f824, 0) + 1a0

[5]ff175bac __sighndlr (a, ffa502f8, ffa50040, fd9e9be4, 0, 0) + c

[6]ff16f804 call_user_handler (a, ffa502f8, ffa50040, 0, 0, 0) + 234

[7]ff16f9b4 sigacthandler (a, ffa502f8, ffa50040, ff2bc000, 81010100, ff0000) + 64

[8]--- called from signal handler with signal 10 (SIGBUS) ---

[9]ff29a13c readdir64_r (be13d6b7, ffa50440, ffa5043c, ff2982ec, 81010100, ff00) + 20

[10]ff29a294 readdir_r (be13d6b7, ffa50b0c, ed, cfee, 29400, ee) + c

[11]fda23b9c OSDirectoryScan (fda239d4, fef91a5c, fa2a0cb4, fa2a0ec6, fa2a10c8, fa2a0fc6) + 184

[12]fe14a71c DbDirManRefreshDirectory (0, c001, ffbeea10, ffbee910, ffbee810, ffbee710) + a0

[13]fe14a778 DbDirManRefreshDirectory (0, c001, ffbeea10, ffbee910, ffbee810, ffbee710) + fc管理员在2009年8月13日编辑了该文章文章。