quan：Exadata计算节点由kswapd0进程引起的IO使用率100%，内存不足的故障处理

系统环境：Exadata X2-2 1/4 Rack, 11.2.0.3.7 RAC
问题描述：计算节点二登陆异常缓慢，系统资源严重不足，SWAP交换分区剩余0





解决步骤：

首先看到用IOstat统计 util%已经达到了100%，说明本地磁盘使用率已经慢负荷运转，但是Exadata是比较特殊的系统，
IO的压力主要在cell节点。本地磁盘出现IO消耗高是十分异常的事件，因此我们通过
ps -eo pid,user,wchan=WIDE-WCHAN-COLUMN -o s,cmd|awk ' $4 ~ /D/ {print $0}' 这条命令去抓系统内占用IO的进程：

[dsg@sddxdb02 scripts]$ ps -eo pid,user,wchan=WIDE-WCHAN-COLUMN -o s,cmd|awk ' $4 ~ /D/ {print $0}' 209 root congestion_wait D [kswapd0] [dsg@sddxdb02 scripts]$ ps -eo pid,user,wchan=WIDE-WCHAN-COLUMN -o s,cmd|awk ' $4 ~ /D/ {print $0}' 209 root congestion_wait D [kswapd0] 127931 grid sync_page D oracle+ASM2_asmb_exadb2 (DESCRIPTION=(LOCAL=YES)(ADDRESS=(PROTOCOL=beq))) [dsg@sddxdb02 scripts]$ ps -eo pid,user,wchan=WIDE-WCHAN-COLUMN -o s,cmd|awk ' $4 ~ /D/ {print $0}' 209 root congestion_wait D [kswapd0]

 从上面可以看到系统内kswapd0进程在消耗IO。关于KSwapd0的解释：
1.Linux uses kswapd for virtual memory management such that pages that have been recently accessed are kept in memory and less active pages are paged out to disk.
2.系统每过一定时间就会唤醒kswapd进程，查看内存资源是否紧张，如果不紧张，则继续睡眠，在kswapd中，有2个阀值,pages_hige和pages_low,当空闲内存页的数量低于pages_low的时候,kswapd进程就会扫描内存并且每次释放出 32个free pages,直到free page的数量到达pages_high.

也就是说kswapd0是有内存资源不足而唤醒的，它去扫描并释放空闲内存，期间会执行大量的换页操作，极有可能就是此进程造成的IO 100%耗尽。

但是SWAP为什么会被消耗尽呢？我们进一步通过命令观察内存使用情况：ps aux --sort=%mem



这条dbfs_client进程格外异常，我们看到在 %MEM这一列此进程占用了49.8%。经过与现场沟通，DBFS仅作为
测试使用，没有在生产环境上用起来，早就停止不用了，但是没有关闭掉，DBFS还在挂载中。

于是执行卸载DBFS的命令： fusermount -u /dbfs

稍后对系统资源进行了监控，TOP，iostat 观察输出结果：

IO负载已恢复正常：


swap区已降下来，换页频度下降同时kswapd0进程消失：



通过上面的处理，系统性能恢复正常。但是DBFS消耗这么高的内存尚属首次碰到，需要进一步研究， 在此记录下的分析过程同样适用于非一体机环境。

参考文档：

https://oracle-base.com/articles/11g/dbfs-11gr2

http://www.eygle.com/archives/2010/12/kswapd_rac.html

来自 “ ITPUB博客 ” ，链接：http://blog.itpub.net/22878696/viewspace-1805953/，如需转载，请注明出处，否则将追究法律责任。

转载于:http://blog.itpub.net/22878696/viewspace-1805953/