RAC 中 ORA-12516: TNS: listener could not find available handler with matching protocol stack

现象在DB上执行sqlplus apps/apps正常，如果执行sqlplus apps/apps@prod1 就会出现ORA-12516的错误。

 

SQLNet.log中的日志:

Fatal NI connect error 12516, connecting to:
 (DESCRIPTION=(ADDRESS=(PROTOCOL=tcp)(HOST=compardrac1)(PORT=1521))(CONNECT_DATA=(SERVICE_NAME=PROD)(INSTANCE_NAME=PROD1)(CID=(PROGRAM=sqlplus@compardrac2)(HOST=compardrac2)(USER=oraprod))))

  VERSION INFORMATION:
        TNS for Solaris: Version 10.2.0.5.0 - Production
        TCP/IP NT Protocol Adapter for Solaris: Version 10.2.0.5.0 - Production
  Time: 07-JUN-2012 00:50:51
  Tracing not turned on.
  Tns error struct:
    ns main err code: 12564
    TNS-12564: TNS:connection refused
    ns secondary err code: 0
    nt main err code: 0
    nt secondary err code: 0
    nt OS err code: 0

怎么看怎么都不像是Processes不足，lsnrctl status listener_compardrac1也看不出问题来，最后查看listener的service(lsnrctl service listener_compardrac1)发现PROD1对应的是compardrac2vip，从日志里面也可以看出来，Host=compardrac1，但是后面CID里面的信息却是compardrac2，看来是listener handle的Instance信息有错。

回想到DB之间是做了loading_balance的，启动的时候crs_start -all，两边的listener起的快，instance起的慢，listener Handle的时候给串了。知道原因就好办了，把RAC服务一台一台的启动就可以避免这个问题。