主机耗光资源Bugs 4612267

最新推荐文章于 2013-05-20 12:24:01 发布

gtlions

最新推荐文章于 2013-05-20 12:24:01 发布

阅读量5.6k

点赞数

分类专栏： Oracle Troubleshooting 文章标签： bugs oracle patch 数据库服务器 command

本文链接：https://blog.csdn.net/gtlions/article/details/7945247

版权

Oracle Troubleshooting 专栏收录该内容

40 篇文章 0 订阅

订阅专栏

公司的两台rhl5.1+10.2.0.1 x86的数据库服务器接连两天遇到系统资源被耗光的问题，导致主机操作卡死数据库无法使用，查了下原来是bug。
症状：
当主机运行时间达198天或248天，cpu占用率就突然达到100%。此时操作系统命令可以执行，但Oracle的命令象lsnrctl、sqlplus、dbca等都会被hang住，不能执行。
另外的说法是主机运行天数是是24.8的倍数都有可能引发该bug，因为time()函数值为null，造成无限死循环，从而耗尽cpu。
根本原因是os的bug导致的。
另外可以strace -aef -o aaa.txt -p sqlplus的进程不停地调用times(NULL) 。

首先看了下系统资源：
top - 09:42:25 up 50 days, 1:09, 1 user, load average: 160.96, 139.47, 106.07
Tasks: 334 total, 175 running, 159 sleeping,   0 stopped,   0 zombie
Cpu(s): 45.0%us, 55.0%sy, 0.0%ni, 0.0%id, 0.0%wa, 0.0%hi, 0.0%si, 0.0%st
Mem:   4014072k total, 3987848k used,    26224k free,    87124k buffers
Swap: 8193140k total, 1774948k used, 6418192k free, 3051132k cached

PID USER      PR NI VIRT RES SHR S %CPU %MEM    TIME+ COMMAND
5145 oracle    25   0 2140m 75m 72m R    9 1.9   0:11.27 oracle
5931 oracle    25   0 2139m 34m 31m R    9 0.9   0:12.20 oracle
10529 oracle    25   0 2140m 23m 21m R    9 0.6 34:10.17 oracle
10863 oracle    25   0 2139m 17m 16m R    9 0.4 36:11.37 oracle
11077 oracle    25   0 92324 6844 5872 R    9 0.2 35:18.66 oracle
11416 oracle    25   0 92324 6840 5868 R    9 0.2 32:35.48 oracle
17976 oracle    25   0 92328 6848 5872 R    9 0.2   0:40.30 oracle
18245 oracle    25   0 92324 6848 5872 R    9 0.2   0:08.50 oracle
3784 oracle    25   0 2139m 12m 11m R    8 0.3 36:02.14 oracle
3800 oracle    25   0 2140m 175m 173m R    8 4.5 36:15.87 oracle
3803 oracle    25   0 2139m 17m 17m R    8 0.4 34:57.08 oracle
3805 oracle    25   0 2140m 55m 55m R    8 1.4 37:03.20 oracle
3809 oracle    25   0 2139m 23m 22m R    8 0.6 36:49.64 oracle
3857 oracle    25   0 2140m 159m 158m R    8 4.1 36:37.39 oracle
3883 oracle    25   0 2139m 11m 11m R    8 0.3 36:36.03 oracle
5514 oracle    25   0 2139m 17m 16m R    8 0.5   0:11.94 oracle
5516 oracle    25   0 2139m 26m 24m R    8 0.7   0:10.48 oracle
5820 oracle    25   0 2140m 34m 32m R    8 0.9   0:12.19 oracle
5929 oracle    25   0 2140m 40m 37m R    8 1.0   0:12.32 oracle
5973 oracle    25   0 2139m 28m 26m R    8 0.7   0:12.22 oracle
5975 oracle    25   0 2139m 33m 31m R    8 0.9   0:10.38 oracle
10136 oracle    25   0 2139m 16m 15m R    8 0.4 34:40.02 oracle
10138 oracle    25   0 2140m 21m 18m R    8 0.5 34:14.65 oracle
10279 oracle    25   0 2139m 16m 15m R    8 0.4 35:22.77 oracle
10558 oracle    25   0 2139m 16m 14m R    8 0.4 35:05.94 oracle
10870 oracle    25   0 2139m 17m 16m R    8 0.4 36:24.09 oracle
10880 oracle    25   0 2140m 21m 19m R    8 0.6 36:25.60 oracle
11422 oracle    25   0 92328 6844 5868 R    8 0.2 32:38.69 oracle
17763 oracle    25   0 92328 6844 5868 R    8 0.2   1:28.36 oracle
17765 oracle    25   0 92328 6848 5872 R    8 0.2   1:25.37 oracle
17907 oracle    25   0 92324 6848 5872 R    8 0.2   0:51.05 oracle
可以发现大量的oracle进程占用了主机的资源，从vmstat和free也可以看出：
procs -----------memory---------- ---swap-- -----io---- --system-- -----cpu------
r b   swpd   free   buff cache   si   so    bi    bo   in   cs us sy id wa st
258 1 1774944 22984 73908 2994968    3    3    29    27    2    2 1 0 97 1 0
258 1 1774944 22984 73908 2995000    0    0     0     0 412 306 43 57 0 0 0
258 1 1774944 22984 73908 2995000    0    0     0     0 425 302 47 54 0 0 0
259 1 1774944 22116 73912 2995000    0    0     4     0 410 321 46 54 0 0 0
259 1 1774944 22116 73912 2995000    0    0     0    88 449 321 50 50 0 0 0
259 1 1774944 22116 73928 2994984    0    0     0   116 423 331 48 52 0 0 0
259 1 1774944 22116 73928 2994984    0    0     0     0 426 313 48 52 0 0 0
259 1 1774944 22116 73928 2995000    0    0     0     0 438 300 41 59 0 0 0
259 1 1774944 21620 73928 2995000    0    0     0     0 425 313 46 54 0 0 0
259 1 1774944 21620 73928 2995000    0    0     0     0 410 298 41 59 0 0 0

而且主机的运行时间是50天，再次印证了这个时间是吻合的：
10:03:43 up 50 days, 1:30, 2 users, load average: 275.42, 255.46, 202.70

解决办法是重启主机，或者打oracle的补丁4612267或者升级到10.2.0.4以上版本。
该bug的描述：
#-------------------------------------------------------------------------
# Interim Patch for Base Bugs: 4612267
#-------------------------------------------------------------------------
#
# DATE: Wed Oct 5 10:17:13 2005
# -------------------------------
# Platform Patch for : Linux x86
# Product Version # : 10.2.0.1
# Product Patched    : ORACORE
#
# Bugs Fixed by this patch:
# -------------------------
# 4612267:OCI CLIENT IS IN AN INFINITE LOOP WHEN MACHINE UPTIME HITS 248 DAYS
#-------------------------------------------------------------------------
知道问题原因之后就好办，找个时间upgrade到10.2.0.5就好了。
-The End-