oracle 11.2 on hpunix 挂起

早上接到监控报警。尝试登录hpunix时报connect closed. 远程连接不上去。 于是找unix组员一起排查。

挂起时情况如下：

server上面同时跑着20个数据库
segula:oracle:12102_02:(NNTZW2P):/opt/oracle $ ps -ef |grep smon|wc -l
20
segula:oracle:12102_02:(NNTZW2P):/opt/oracle $ 

已使用进程数1106个
[segula:root]/var/adm # ps -ef|grep ora|wc -l

1106

[segula:root]/var/adm #

怀疑是系统资源全被占用了，top显示结果并不是这样：

[segula:root]/var/adm # top

System: segula                                        Fri May 12 02:16:10 2017

Load averages: 0.06, 0.06, 0.06

1533 processes: 1293 sleeping, 240 running

Cpu states:

CPU   LOAD   USER   NICE    SYS   IDLE  BLOCK  SWAIT   INTR   SSYS

 0    0.06   0.2%   0.0%   0.0%  99.8%   0.0%   0.0%   0.0%   0.0%

 2    0.08   0.2%   0.0%   1.8%  98.0%   0.0%   0.0%   0.0%   0.0%

 4    0.08   0.2%   0.0%   0.0%  99.8%   0.0%   0.0%   0.0%   0.0%

 6    0.08   0.2%   0.0%   0.0%  99.8%   0.0%   0.0%   0.0%   0.0%

 8    0.08   0.2%   0.0%   2.0%  97.8%   0.0%   0.0%   0.0%   0.0%

10    0.08   0.0%   0.0%   0.2%  99.8%   0.0%   0.0%   0.0%   0.0%

12    0.08   0.4%   0.0%   2.2%  97.5%   0.0%   0.0%   0.0%   0.0%

14    0.07   0.8%   0.0%   0.0%  99.2%   0.0%   0.0%   0.0%   0.0%

16    0.05   1.0%   0.0%   1.0%  98.0%   0.0%   0.0%   0.0%   0.0%

18    0.05   0.2%   0.0%   0.4%  99.4%   0.0%   0.0%   0.0%   0.0%

20    0.08   7.6%   0.8%   0.2%  91.4%   0.0%   0.0%   0.0%   0.0%

22    0.05   0.4%   0.0%   0.0%  99.6%   0.0%   0.0%   0.0%   0.0%

24    0.05   0.0%   0.0%   0.0% 100.0%   0.0%   0.0%   0.0%   0.0%

26    0.06   1.6%   0.0%   0.2%  98.2%   0.0%   0.0%   0.0%   0.0%

28    0.05   0.0%   0.0%   0.0% 100.0%   0.0%   0.0%   0.0%   0.0%

30    0.05   2.3%   0.0%   0.0%  97.7%   0.0%   0.0%   0.0%   0.0%

---   ----  -----  -----  -----  -----  -----  -----  -----  -----

avg   0.06   1.0%   0.2%   0.6%  98.2%   0.0%   0.0%   0.0%   0.0%

 

System Page Size: 4Kbytes

Memory: 73388772K (26824972K) real, 98361292K (49498628K) virtual, 31441200K free  Page# 1/38

 

CPU TTY    PID USERNAME PRI NI   SIZE    RES STATE    TIME %WCPU  %CPU COMMAND

20   ?   11116 oracle   178 20  1686M 13820K sleep  262:11 10.73 10.71 oracleNNTZW2P

 2   ?   18232 root     152 20   213M 17080K run      0:00  7.10  3.00 nbostpxy

16   ?    5485 oracle   178 20  1551M 41656K run     16:50  2.55  2.54 ora_j000_FLXOE11P

12 pts/2 10597 oracle   168 20 12196K  2420K sleep   32:04  1.86  1.86 top

 6 pts/3 18156 root     178 20 11940K  2180K run      0:00  1.75  1.29 top

 8   ?    3911 root     168 20 16424K  1960K sleep  157:34  1.20  1.20 utild

26   ?    3324 root     152  0 62204K 19268K run    104:36  0.97  0.97 perfd

10   ?   23394 oracle   154 20   176M 46676K sleep    0:13  0.94  0.94 rman

26   ?    3723 patrol   154 30 69340K 37056K sleep  282:25  0.73  0.72 PatrolAgent

16   ?   27055 oracle   178 20  1680M 13316K sleep    7:51  0.67  0.66 ora_cjq0_NNTZW2P

26   ?   17587 root     152 20   308M 24236K run      0:01  0.69  0.64 nbostpxy

26   ?     108 root     152 20  1224K  1088K run     60:11  0.55  0.55 pm_schedcpu

28   ?    3249 root     127 20 67204K 22120K sleep   21:05  0.44  0.44 scopeux

20   ?   29498 oracle   178 20  2786M  9640K sleep    0:56  0.44  0.44 ora_lreg_QACII12C

30   ?   29504 oracle   178 20  2787M 10000K sleep   30:12  0.42  0.42 ora_mmnl_QACII12C

28   ?    3257 root     -16 20 80760K 54792K run    100:27  0.32  0.32 midaemon

 0   ?   27533 oracle   178 20  2791M 14756K sleep   65:12  0.29  0.29 ora_dia0_ORGPLUSP

18   ?   24767 oracle   178 20  2791M 14696K sleep   59:36  0.26  0.26 ora_dia0_EPUB4VWP

22   ?   29480 oracle   178 20  2791M 14756K sleep   59:44  0.26  0.26 ora_dia0_QACII12C

 8   ?   26230 oracle   178 20  1495M 12436K sleep   10:53  0.25  0.25 ora_cjq0_MYCATPRD

26   ?   27427 oracle   152 20   131M  8312K run    125:15  0.25  0.25 tnslsnr

 6   ?   23461 oracle   178 20  4737M 23964K sleep    0:03  0.20  0.20 oracleRIMS5P

24   ?   27465 oracle   178 20 13451M 10924K sleep   39:02  0.15  0.15 ora_dia0_ARGUSP

 0   ?   27557 oracle   178 20  2787M  9920K sleep   32:42  0.14  0.13 ora_mmnl_ORGPLUSP

16   ?   21108 oracle   178 20  1676M  9840K sleep    0:00  0.13  0.13 oracleNNTZW2P

 2   ?    3806 root     154 20 12268K  1152K sleep   46:56  0.12  0.12 pukserver.xpc

 4   ?   21259 oracle   178 20  6033M 12708K sleep   37:40  0.12  0.12 ora_dia0_EPUB4PRD

18   ?   27487 oracle   178 20 13448M  8952K sleep   11:15  0.11  0.11 ora_mmnl_ARGUSP

16   ?       4 root     152 20   144K   128K run     32:02  0.11  0.11 unhashdaemon

 6   ?   15569 splunk   152 20   375M 95412K run     27:53  0.10  0.10 splunkd

 8   ?   14150 root     152 20   308M 24476K run      0:02  0.10  0.10 nbostpxy

12   ?    2526 root     154 20 11964K  1016K sleep   43:40  0.10  0.10 pwgrd

 0   ?   26425 oracle   178 20  1679M 11496K sleep   28:40  0.09  0.09 ora_dia0_NNTZW2P

 2   ?    3237 sro      152 20 28500K  3420K run      2:45  0.09  0.09 sshd:

12   ?    3623 oracle   178 20  2808M 27572K sleep    3:50  0.09  0.09 ora_pr00_LOLA7P

22   ?   21245 oracle    -2 20  6029M  8100K sleep   18:45  0.09  0.09 ora_vktm_EPUB4PRD

18   ?   24775 oracle   178 20  2787M 10216K sleep   14:14  0.08  0.08 ora_ckpt_EPUB4VWP

10   ?   21283 oracle   178 20  6031M  9984K sleep   19:49  0.07  0.07 ora_mmnl_EPUB4PRD

 6   ?    3474 oracle   178 20  2787M 10736K sleep    4:05  0.07  0.07 ora_dia0_LOLA7P

[segula:root]/var/adm #

 

CPU与内存资源还有富余，unix组员注意到系统日志有报错信息  

vmunix: kthread: table is full

于是查看kernel资源使用情况 nkthread 内核参数已将满。

[segula:root]/ # kcusage

Tunable                 Usage / Setting

=============================================

filecache_max      8480522240 / 65306607616

maxdsiz              22216704 / 1073741824

maxdsiz_64bit        93978624 / 2147483648

maxfiles_lim              331 / 63488

maxssiz                786432 / 134217728

maxssiz_64bit         1835008 / 1073741824

maxtsiz              11796480 / 100663296

maxtsiz_64bit       587202560 / 1073741824

maxuprc                  1075 / 3686

max_thread_proc           101 / 1200

msgmbs                      0 / 8

msgmni                      2 / 4096

msgtql                      0 / 4096

nflocks                   737 / 4096

ninode                   4234 / 1024909

nkthread                 7158 / 7184

nproc                    1536 / 4096

npty                        0 / 60

nstrpty                     5 / 60

nstrtel                     0 / 60

nswapdev                    1 / 32

nswapfs                     0 / 32

semmni                     38 / 4096

semmns                   8180 / 8192

shmmax             1073741824 / 1073741824

shmmni                    123 / 4096

shmseg                     15 / 512

[segula:root]/ #

将nkthread加到8192

[segula:root]/ # kctune nkthread=8192

     ==> Update the automatic 'backup' configuration first? yes

       * The automatic 'backup' configuration has been updated.

       * Future operations will update the backup without prompting.

       * The requested changes have been applied to the currently

         running configuration.

Tunable             Value  Expression  Changes

nkthread  (before)   7184  7184        Immed

          (now)      8192  8192

[segula:root]/ #

查询nkthread增加后使用情况

[segula:root]/ # kctune nkthread

Tunable   Value  Expression  Changes

nkthread   8192  8192        Immed

[segula:root]/ # kcusage|grep nkthread

nkthread                 7202 / 8192

[segula:root]/ #

尝试使用oracle用户登录数据库成功

11.2 hpunix install 官档中有note注明 

Note:

The kernel parameter values in this section are minimum values only. For production database systems, Oracle recommends that you tune these values to optimize the performance of the system. Refer to your operating system documentation for more information about tuning kernel parameters.

oracle install on hpunix , configure kernel parameters address:
http://docs.oracle.com/cd/E11882_01/install.112/e49316/pre_install.htm#HPDBI1190

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/11780477/viewspace-2138973/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/11780477/viewspace-2138973/