开发找来说最近应用访问比较慢,查看会话发现并没有发现什么问题,操作系统负载也正常,唯一的问题就是从PL/SQL developer工具和SQLPLUS登录比较慢;
开始是怀疑跟/etc/resolv.conf和/etc/hosts文件有关,调整后发现并没有什么改善。
通过strace -T -t sqlplus / as sysdba 发现在这一步出现明显延迟,达到了6.39s,通过关键字AUTH_VERSION_S搜索到文章Slow SYSDBA OS authentication (Doc ID 2225093.1),提示审计文件过多导致;
在adump目录下无法统计具体文件个数,根据inode预估应该有上千万的审计文件,无法查看就清理吧,使用find /opt/app/oracle/admin/mmerp/adump -mtime +7 -name "*.aud" | xargs rm -f清理了七天前的文件;
有意思的是从清理开始就发现登录明显变快,后来清理出1900w个inode,奇怪的问题需要记录。