（2010-06-06）oracle重启故障之一：ORA-01102: cannot mount database in EXCLUSIVE mode

    在实际生产库或者实验中经常或者偶然碰到oracle数据库down掉后重启startup后却出现ora-01102： cannot mount database in EXCLUSIVE mode的错误。今晚很不幸，也很幸运我也遇到了此问题，正好借此机会好好学习学习下：

   

ORA-01102: cannot mount database in EXCLUSIVE mode

今天在STARTUP一 数据库时，发生如下错误：

 

SQL> conn /as sysdba
P"o(M5AU6@YQ E22733608Connected to an idle instance.
/nzt8iw A(W22733608SQL> startup
7V}:zD"LT4Iq:h22733608ORACLE instance started.

Total System Global Area  276824064 bytes
Fixed Size                   778736 bytes

Variable Size             137371152 bytes

Database Buffers          138412032 bytes
Redo Buffers                 262144 bytesITPUB

ORA-01102: cannot mount database in EXCLUSIVE mode

SQL> shutdown immediateORA-01507: database not mounted
ORACLE instance shut down.

 

GOOGLE一下，发现是lk<SID>文件造成的，该文件位于ORALCE_HOME下的dbs目录下，马上检查该文件：

 

[root@qa-oracle dbs]# fuser -u lkNDMSQA
*yJ.H2n/(PBI22733608lkNDMSQA:             6666(oracle)  6668(oracle)  6670(oracle)  6672(oracle)  6674(oracle)  6676(oracle)  6678(oracle)  6680(oracle)  6690(oracle)  6692(oracle)  6694(oracle)  6696(oracle)  6737(oracle)  6830(oracle)

 

果然该文件没释放，用fuser命令kill掉：

[root@qa-oracle dbs]# fuser -k lkNDMSQA
/Fg;Z#Q,u7]k"l22733608lkNDMSQA:             6666  6668  6670  6672  6674  6676  6678  6680  6690  6692  6694  6696  6737  6830ITPUB个人空间'rl poj3Q:H
[root@qa-oracle dbs]# fuser -u lkNDMSQA

 

然后：

 

SQL> startup ITPUB个人空间pyQ,r3K#i9L
ORACLE instance started.

Total System Global Area  276824064 bytesITPUB个人空间iN1QJ1X
Fixed Size                   778736 bytes
7R&?rYS SH:M4V1V2J22733608Variable Size             137371152 bytesITPUB个人空间d+ZwW+z(cK&s6[;O
Database Buffers          138412032 bytes
$OfD1ra~22733608Redo Buffers                 262144 bytesITPUB个人空间qa!Tr$F&[T[
Database mounted.
4}OB{pK22733608Database opened.
[w3/+K7^X/s22733608SQL>

 

数据库成功OPEN.

 

关于该错误更详细的介绍如下：原文链接： http://www.hellodba.com/cases/case-unexception_down.htm

 

数据库异常关闭后无法启动问题处理一例

 

作者： fuyuncat

来源： www.HelloDBA.com

 

 

某系统突然掉电，系统启动后发现Oracle无法启动。启动时报如下错误：

ORA-01102 cannot mount database in EXCLUSIVE mode ITPUB个人空间`b+RP V!g:}e-p
 

出现1102错误可能有以下几种可能：

一、在HA系统中，已经有其他节点启动了实例，将双机共享的资源（如磁盘阵列上的裸设备）占用了；

 

二、说明Oracle被异常关闭时，有资源没有被释放，一般有以下几种可能，

1、 Oracle的共享内存段或信号量没有被释放；

2、 Oracle的后台进程（如SMON、PMON、DBWn等）没有被关闭；

3、 用于锁内存的文件lk<sid>和sgadef<sid>.dbf文件没有被删除。

 

首先，虽然我们的系统是HA系统，但是备节点的实例始终处在关闭状态，这点通过在备节点上查数据库状态可以证实。

其次、是因系统掉电引起数据库宕机的，系统在接电后被重启，因此我们排除了第二种可能种的1、2点。最可疑的就是第3点了。

查$ORACLE_HOME/dbs目录：

$ cd $ORACLE_HOME/dbs ITPUB个人空间 ]Hhfa i
$ ls sgadef* ITPUB个人空间G+}l&_:qhf
sgadef* not found
/(JL/UP5|T22733608$ ls lk*
q;H,VU qGu2n(H22733608lkORA92 ITPUB个人空间 T^vwB.p$e
 

果然，lk<sid>文件没有被删除。将它删除掉

$ rm lk* ITPUB个人空间X YT A*d/N.j
 

再启动数据库，成功。

 

如果怀疑是共享内存没有被释放，可以用以下命令查看：

$ipcs -mop
aJ#c:ao:c#Tj@C.Q22733608IPC status from /dev/kmem as of Thu Jul  6 14:41:43 2006
!H r'SoK:{,VKG22733608T      ID     KEY        MODE        OWNER     GROUP NATTCH  CPID  LPID
N/ZK:kwS8`22733608Shared Memory:
IV.S/Oba)x22733608m       0 0x411c29d6 --rw-rw-rw-      root      root      0   899   899
)H&c D2LV22733608m       1 0x4e0c0002 --rw-rw-rw-      root      root      2   899   901 ITPUB个人空间Mx.l/p`v MZa
m       2 0x4120007a --rw-rw-rw-      root      root      2   899   901 ITPUB个人空间mt4h pf`k
m  458755 0x0c6629c9 --rw-r-----      root       sys      2  9113 17065
AZ5pPp Z:box22733608m       4 0x06347849 --rw-rw-rw-      root      root      1  1661  9150 ITPUB个人空间?P9Xz,W!x+[
m   65541 0xffffffff --rw-r--r--      root      root      0  1659  1659
1c'D)Q"PE%`J1{22733608m  524294 0x5e100011 --rw-------      root      root      1  1811  1811 ITPUB个人空间.v$r"]QjC5K)F4`#~
m  851975 0x5fe48aa4 --rw-r-----    oracle  oinstall     66  2017 25076
,OW w%e#^3j]22733608 

然后它ID号清除共享内存段：

$ipcrm –m 851975
#r&P.aC9zKW22733608 

对于信号量，可以用以下命令查看：

$ ipcs -sop ITPUB个人空间H!^ A/.~ G+f3_
IPC status from /dev/kmem as of Thu Jul  6 14:44:16 2006
f8J$h#U+w G22733608T      ID     KEY        MODE        OWNER     GROUP
kKC%i-^5Y"P/I'pA;/9b22733608Semaphores:
P2QUI"K*I:^:Q0Z6/H22733608s       0 0x4f1c0139 --ra-------      root      root
/o d{-v)u0H6fV{22733608... ... ITPUB个人空间(D[@$vq+E!v'q*k
s      14 0x6c200ad8 --ra-ra-ra-      root      root ITPUB个人空间)S-v#E8o5KU`W
s      15 0x6d200ad8 --ra-ra-ra-      root      root ITPUB个人空间W"r{1[)L&v(~1Y
s      16 0x6f200ad8 --ra-ra-ra-      root      root
4}*cb$HkK22733608s      17 0xffffffff --ra-r--r--      root      root ITPUB个人空间X j.rw]v
s      18 0x410c05c7 --ra-ra-ra-      root      root
:~z.SD0r22733608s      19 0x00446f6e --ra-r--r--      root      root ITPUB个人空间;}Dk mEU+JaQ
s      20 0x00446f6d --ra-r--r--      root      root
[ ]"d cR#B l22733608s      21 0x00000001 --ra-ra-ra-      root      root ITPUB个人空间sG-f%Su?vW
s   45078 0x67e72b58 --ra-r-----    oracle  oinstall
3p MU6n4`[22733608 

根据信号量ID，用以下命令清除信号量：

$ipcrm -s 45078
j7u'^&nf3}2wI22733608 

如果是Oracle进程没有关闭，用以下命令查出存在的oracle进程：

$ ps -ef|grep ora ITPUB个人空间#`8D^ U$k3~d A N A _
  oracle 29976     1  0  Jun 22  ?         0:52 ora_dbw0_ora92
t&T,Y5d!k1S`S22733608  oracle 29978     1  0  Jun 22  ?         0:51 ora_dbw1_ora92
5VkZ zgo0xcm22733608  oracle  5128     1  0  Jul  5  ?         0:00 oracleora92 (LOCAL=NO)
%V#J#Wx tz%R1C22733608... ...
/R apJ]22733608 

然后用kill -9命令杀掉进程

$kill -9 <PID>
6Z/RPaaT;O22733608 

总结：

当发生1102错误时，可以按照以下流程检查、排错：

1.如果是HA系统，检查其他节点是否已经启动实例；
V lAcZ"_227336082.检查Oracle进程是否存在，如果存在则杀掉进程；ITPUB个人空间D)m&v&g@%tRTq
3.检查信号量是否存在，如果存在，则清除信号量；
V}or G!{5W%B227336084.检查共享内存段是否存在，如果存在，则清除共享内存段；
tR/nj)z227336085.检查锁内存文件lk<sid>和sgadef<sid>.dbf是否存在，如果存在，则删除。