原标题:Linux常见系统故障:inode耗尽导致应用故障
1、错误现象
客户的一台Oracle 数据库在关机重启后,Oracle监听无法启动,提示错误如图1所示。
图1 inode耗尽故障现象
从输出信息判断,应该是磁盘空间耗尽导致Oracle监听无法启动,因为Oracle在启动监听时需要创建监听日志文件,而上面三个TNS错误产生的原因都是由最后一行错误导致的,于是首先检查系统磁盘空间,如图2所示。
图2 查看故障服务器磁盘空间信息
从磁盘输出信息可知,所有分区磁盘空间都还有不少剩余,而Oracle监听写日志的路径在/var分区下,虽然/var分区仅剩下3.2GB可用磁盘空间,但是这对于写一个监听日志文件来说足够了,为什么还提示空间不足呢?
2、解决思路
既然错误提示与磁盘空间有关,那就深入研究下关于磁盘空间的问题,在系统中对磁盘空间的占用分为三个部分:第一个是物理磁盘空间,第二个是inode节点所占用的磁盘空间,第三个是用来存放信号量的空间,而平时接触较多的是物理磁盘空间,对第二个和第三个空间的问题接触较少。既然不是物理磁盘空间的问题,接着检查是否是inode节点耗尽的问题,通过执行“df -i”查看系统可用的inode节点,如图3所示。
图3 查看磁盘分区的inode使用信息
由输出可知,果然是inode节点耗尽导致无法写日志文件。由于inode被全部用完了,虽然还有可用磁盘空间,但是文件系统已经无法再记录这些空余空间了,因此也就不能再创建新文件或文件夹了。由于涉及了inode知识,接下来就简单介绍下 Linux 中inode的概念。
在 Linux 系统中,文件由数据块和元数据组成,数据块就是多个连续性的扇区,是文件存取的最小单位。块(block)的大小,最常见的是4KB,即连续8个sector组成一个block。而元数据用来记录文件的创建者、文件的创建日期、文件的大小等,这种存储文件元数据信息的区域就叫做inode,或者称为“索引节点”。
由于inode也是用来存储文件相关属性信息的,因此inode也会消耗硬盘空间,在硬盘格式化的时候, 操作系统 会自动将硬盘分成两个区域。一个是数据区,存放文件数据;另一个是inode区(inode table),存放inode所包含的信息。
每个inode节点的大小一般是128B或256B。inode节点的总数在格式化文件系统的时候,就已经确定,可以通过如下命令查看某个磁盘分区inode的总数:
[root@localhost ~]# dumpe2fs -h /dev/sda3|grep ‘inode count’
dumpe2fs 1.39 (29-May-2006)
举个形象的例子,如果将文件系统比作一本书,那么,inode就是这本书的目录。在格式化文件系统的时候,这本书的最大目录数已经确定了。在写书(保存文件到磁盘)的过程中,可能发生这样的情况:纸用完了(磁盘空间不足),此时肯定无法保存新的文件;但是还存在另外一种情况,就是目录写完了(inode节点全部分配完了),在这种情况下,虽然还有纸(磁盘空间),但是目录(inode)已经没有了,在文件系统上当然不能新建文件了,因为没有了目录,就无法通过索引找到文件。
另外,每个inode都有一个号码, 操作系统 用inode号码来区分不同的文件。通过“ls -i”命令,可以查看文件名对应的inode号,例如:
[root@localhost ~]# ls -i install.log
如果要查看这个文件更详细的inode信息,可以通过stat命令实现,如图4所示。
图4 查看某文件inode的详细信息
3、解决问题
知道这个故障是由inode导致的后,接下来就要查看/var目录下为何耗尽了inode,通过检查发现/var/spool/clientmqueue/这个目录里面的文件仅500多万个,至于产生的原因,分析后确定应该是系统的crontab导致的,因为系统开了多个crontab任务,而如果crontab任务没有重定向,默认就会在这个目录下创建一个文件,日积月累,此目录下的小文件就会超级多。解决的方法很简单,删除这些没用的文件即可。删除的方法是直接使用rm命令,这时肯定会提示“Argument list too long”的错误,解决这个问题通过如下命令即可完成:
[root@localhost ~]# find /var/spool/clientmqueue/ -name "*" -exec rm -rf {} ;
删除日志文件后,再次启动Oracle监听,可以顺利实现启动,查看发现新的监听日志文件已经生成,至此,问题得到圆满解决。返回搜狐,查看更多
责任编辑: