oracle hung分析,数据库应用Hung住诊断案例一

OS: SunOS 5.9

DB: Oracle RDBMS 9.2.0.7 64bit

Case: 业务应用程序运行缓慢，出现Hung住现象[@more@]

诊断思路：

一：检测OS性能，分析定位问题

二：检测数据库等待，判断问题原因

三：处理措施

1、检测OS性能信息

load averages: 2.75, 2.77, 2.96; up 18+00:54:02 11:02:53

377 processes: 372 sleeping, 1 stopped, 4 on cpu

CPU states: 75.6% idle, 22.4% user, 1.0% kernel, 1.1% iowait, 0.0% swap

Memory: 24G phys mem, 3806M free mem, 31G swap, 29G free swap

PID USERNAME LWP PRI NICE SIZE RES STATE TIME CPU COMMAND

6766 oracle9i 2 0 0 5169M 5130M cpu 110.7H 100% oracle

12676 oracle9i 11 10 0 5173M 5125M cpu 17.6H 99.80% oracle

1675 oracle9i 15 10 0 5172M 5136M cpu 81:41 38.77% oracle

1354 oracle9i 1 59 0 5169M 5131M sleep 1:00 8.95% oracle

2.捕获系统异常进程应用信息

$ ps -ef | grep 6766

oracle9i 6766 1 9 Jun 01 ? 6657:09 ora_s003_oracle9i

$ ps -ef | grep 12676

oracle9i 12676 1 9 May 27 ? 1071:16 ora_ckpt_oracle9i

3.系统状况分析：

系统整体上CPU空闲良好，只有个别进程耗用CPU资源严重.

系统进程耗用CPU资源高的进程是数据库的后台进程S003(数据库服务进程)和CKPT.

推断是数据库后台进程存在异常问题.

4.查询数据库等待信息

SQL*Net message from client 155

SQL*Net message to client 1

background parameter adjustment 1

control file parallel write 1

latch free 20

pmon timer 1

rdbms ipc message 4

smon timer 1

5.数据库等待事件分析：系统latch free事件突出，需查询latch信息，明确是在争用什么资源；

系统存在一个background parameter adjustment事件，此事件少见，

存在异常的可能性大.

6.查询数据库Latch信息

cache buffers chains 2.1326E+10

library cache 1741121663

virtual circuit buffers 1598674606

shared pool 1096938014

library cache pin 1067429204

session idle bit 834208863

library cache pin allocation 775017413

virtual circuit queues 706901391

redo allocation 676275127

row cache objects 381569350

virtual circuits 328478460

row cache enqueue latch 262794401

checkpoint queue latch 245965515

process queue reference 203858902

simulator hash latch 150475724

enqueue hash chains 136200233

undo global data 133658967

sequence cache 94886072

dml lock allocation 64670156

cache buffers lru chain 62147374

7.Latch信息表明系统热块竞争突出.

8.进一步检测，发现OS PID:12676 正是在background parameter adjustment事件上

等待.

9.查询Metalink DocId:271183.1

Ckpt process hung and consuming high cpu following sga parameter change

10.检测alert信息

Tue Jun 6 16:21:05 2007

CKPT: Begin resize of buffer pool 3 (DEFAULT for block size 8192)

CKPT: Current size = 1500 MB, Target size = 2048 MB

CKPT: Resize completed for buffer pool DEFAULT for blocksize 8192

Tue Jun 6 16:21:06 2007

ALTER SYSTEM SET db_cache_size='2147483648' SCOPE=MEMORY;

发现SGA确有过调整.

11.分析判断：

系统动态调整SGA，引起CKPT不能正常完成系统检测点检测，导致系统进程Hang住，影响了

系统其他会话的活动，造成多个进程在SGA中获取资源寻址出现异常，形成资源争用的现象；

引发系统阻塞，性能下降，不能正常提供服务.

12.处理措施

查询v$session_wait，提出background parameter adjustment事件上等待的会话session_id;

再查询v$session,获取serial#,然后kill session.

alter system kill session 'session_id,serial#';