solaris下的tomcat遇到“java.io.IOException: 没有足够的空间”的问题

solaris下的tomcat遇到“java.io.IOException: 没有足够的空间”的问题

[案例]：
java.io.IOException: 没有足够的空间
73017017 [发送央视命令线程] DEBUG cdm.GlobalCAHelper  - -----------------生成摘要：925c10d20d5f0419f339aafd2a6c20a0  32
        at java.lang.UNIXProcess.forkAndExec(Native Method)
        at java.lang.UNIXProcess.<init>(UNIXProcess.java:52)
        at java.lang.Runtime.execInternal(Native Method)
        at java.lang.Runtime.exec(Runtime.java:566)
        at java.lang.Runtime.exec(Runtime.java:428)
        at java.lang.Runtime.exec(Runtime.java:364)
        at java.lang.Runtime.exec(Runtime.java:326)
        at com.onewaveinc.cetus.business.util.DVBUtil.runcmd(DVBUtil.java:1179)
        at com.onewaveinc.cetus.business.external.PreBillingTask.preBillingByAccountId(PreBillingTask.java:63)
        at com.onewaveinc.cetus.business.external.AppExternalBridge.preBillingByAccountId(AppExternalBridge.java:117)
        at com.onewaveinc.cetus.business.external.AppExternalBridge.preBillingByApp(AppExternalBridge.java:103)
        at com.onewaveinc.cetus.business.external.AppExternalBridge.sendMessage(AppExternalBridge.java:45)
        at com.onewaveinc.cetus.util.ldapaccess.send.LdapSendThread.preBilling(LdapSendThread.java:143)
        at com.onewaveinc.cetus.util.ldapaccess.send.LdapSendThread.process(LdapSendThread.java:92)
        at com.onewaveinc.cetus.util.ldapaccess.send.LdapSendThread.run(LdapSendThread.java:67)

问题分析（此处是引用网络上的信息）
在solaris环境上运行JAVA程序时，JVM的堆内存设置应小于总虚拟内存的50%,实际上最好小于30%，如果超过50%则系统中所有使用
到Runtime.exec这种创建子进程java.lang.Process的操作都将失败。创建子进程会复制一份父进程的内存，如果交换内存不够则会出现
IO异常：java.io.IOException: 没有足够的空间
2007-11-12 15:58:03,126 ERROR [STDERR]  at java.lang.UNIXProcess.forkAndExec(Native Method)
2007-11-12 15:58:03,127 ERROR [STDERR]  at java.lang.UNIXProcess.<init>(UNIXProcess.java:52)
2007-11-12 15:58:03,128 ERROR [STDERR]  at java.lang.Runtime.execInternal(Native Method)
2007-11-12 15:58:03,129 ERROR [STDERR]  at java.lang.Runtime.exec(Runtime.java:573)

JDK相关故障为：5049299,4227230。
   http://bugs.sun.com/bugdatabase/view_bug.do?bug_id=5049299

内容（此处是官方文档解释）：
Bug ID:  5049299 
Votes  20 
Synopsis  (process) Use posix_spawn, not fork, on S10 to avoid swap exhaustion 
Category  java:classes_lang 
Reported Against  b06 , 1.4.2_04 
Release Fixed  
State  In progress, request for enhancement 
Related Bugs  6381152 , 4343908 , 4391042 
Submit Date  18-MAY-2004 
Description  If you run a "small" program (e.g., a Perl script) from a "big" Java process on
a machine with "moderate" free swap space (but not as much as the big Java
process), then Runtime.exec() fails.
 
Work Around  1) mkfile followed by swap -a to add more swap space
2) do Runtime.exec "early" in the application execution before the process has
   grown so large (i.e. so the transient swap requirement between Runtime.exec's    fork and exec calls is big), cache resulting Process object, then replace
   the "later" Runtime.exec calls that kicked off perl with println or the like     to direct the aforementioned process exec perl with the same command line
   and relay back the perl command's standard output and error traffic.
3) Like (2) but spawn the "exec daemon" separate from Java to avoid any use of
   Runtime.exec and instead communicate with Java via a pipe or socket to
   initiate running the perl scripts.
   exit status.

  xxxxx@xxxxx   2004-05-19
 
Evaluation  Solaris reserves swap space conservatively, so when an X-megabyte process
forks the kernel attempts to reserve an additional X MB of swap space just in
case the child actually does touch all those pages, thereby making private
copies, and then later needs to swap them out.  (Linux doesn't do this, so
this bug will not be reproducible on a Linux system.)

Within the constraints of the existing semantics of Runtime.exec there does
not appear to be any way to avoid this in current Solaris releases.  vfork(2)
is not thread-safe and popen(3C) only provides access to one of the child's
standard streams rather than all three of them.  S10 does support the new
posix_spawn call; we should look into using that when running on S10.

See the comments section for additional information.

--   xxxxx@xxxxx   2004/5/19
I agree that the use of posix_spawn on S10 should be investigated.
Historically, changes to this kind of code has been extraordinarily risky
due to unforseen race conditions, so this sort of change should be introduced
near the beginning of a release.  Therefore I am targeting this at dolphin.
Hopefully, it will get addressed early in that release.
Posted Date : 2006-02-06 18:03:11.0

 

我的分析：
根据以上的描述，可知是由于交换分区不够导致的；
由于solaris沿用了老的分区方式，对swap默认分区还是以旧的分区规则进行分配大小。
linux已经改正了这个bug

增加交换分区命令：
mkfile 500m swapfile
swap -a swapfile

其他相关命令：
swap -l: 列出当前交换分区情况
swap -a /data/swapfile: 添加交换分区文件，注意：后面跟的文件名需要以绝对路径来执行。

 

 

 

 

 

相关参考文档: http://developer.e800.com.cn/articles/2007/11/1167665124017589497_1.html

Solaris性能监控的Swap空间管理

　随着电子商务如火如荼的开展，网站服务器的性能变得尤其重要。一旦服务器的能力不能满足用户的需要，就会对用户的服务大打折扣，那么就需要对服务器进行升级扩容。但是，有些时候只需对服务器进行一些适当的性能调整，便可以越过性能的瓶颈，大大提高服务器的吞吐能力，从而减少服务器升级的费用。

　　本文介绍了在Solaris平台上Swap（交换）空间的基本概念、实现的原理以及对Swap（交换）空间进行监控的方法和调整的策略。

　　什么是SWAP（交换）空间

　　对于一般的Solaris系统管理员来说，很少会接触Swap（交换）空间，在他们看来Swap区只不过是磁盘上的一两个分区或是几个Swap（交换）文件，当系统没有足够的物理内存来处理当前进程的时候，就利用Swap（交换）空间作为虚拟内存的临时存储空间，这种说法从技术角度来说是没有错的，但Solaris在实现Swap时有其非常独特的地方。

　　SWAP空间作用

　　众所周知，现代操作系统都实现了“虚拟内存”这一技术，不但在功能上突破了物理内存的限制，使程序可以操纵大于实际物理内存的空间，更重要的是“虚拟内存”是隔离每个进程的安全保护网，使每个进程不受其他程序的干扰。

　　Swap空间的作用可简单描述为：当系统的物理内存不够用的时候，就需要将物理内存中的一部分空间释放出来，以供当前运行的程序使用。那些被释放的空间可能来自一些很长时间没有什么操作的程序，这些被释放的空间被临时保存到Swap空间中，等到那些程序要运行时，再从Swap中恢复保存的数据到内存中。这样，系统总是在物理内存不够时，才进行Swap交换。这种现象对于计算机使用者是经常遇到的。

　　有一点要声明的是，并不是所有从物理内存中交换出来的数据都会被放到Swap中（如果这样的话，Swap会不堪重负），有相当一部分的数据直接交换到文件系统。例如，有的程序会打开一些文件，对文件进行读写(其实每个程序都至少打开一个文件，那就是运行程序本身)，当这些程序的内存空间需要交换出去时，文件部分的数据就没有必要放到Swap空间中了，如果是读文件操作，那么内存数据直接就释放了，不需要交换出来，因为下次需要时，直接从文件系统就能恢复;如果是写文件，只需要将变化的数据保存到文件中，以便恢复。但是那些用malloc(3C)和new函数生成的对象的数据则不同，需要Swap空间，因为它们在文件系统中没有相应的“储备”文件，因此被称为“匿名”(Anonymous)的内存数据，这类数据还包括堆栈中的一些状态和变量数据等，所以说，Swap空间是“匿名”数据的交换空间。

　　Swap的配置对性能的影响

　　太多的Swap空间会浪费磁盘的空间，而太少的Swap空间，系统则会发生错误。

　　如果系统的物理内存用光了，你的系统就会跑得慢，但仍能运行；如果Swap空间用光了，那么系统就会发生错误。例如，Web服务器能根据不同的请求数量衍生出多个服务进程(或线程)，如果Swap空间用完，则服务进程无法进动，通常会出现"application is out of memory"的错误，严重时会造成服务进程的死锁。因此Swap空间的分配是很重要的。

　　通常情况下，Swap空间应大于或等于物理内存的大小，最小不应小于64M，通常Swap空间的大小应是物理内存的2－2.5倍(Solaris 2以上的版本有所变化，见下文)。但根据不同的应用，应有不同的配置：如果是小的桌面系统，只需要较小的Swap空间，而大的服务器系统则视情况不同需要不同大小的Swap空间。特别是数据库服务器和Web服务器会随着访问量的增加，对Swap 空间的要求也会增加，具体配置参见各自服务器产品的说明。

　　另外，Swap分区的数量对性能也有很大的影响。因为Swap交换的操作是磁盘I/O的操作，如果有多个Swap交换区，Swap空间的分配会以轮流的方式操作于所有的Swap，这样会大大均衡I/O的负载，加快Swap交换的速度。如果只有一个交换区，所有的交换操作会使交换区变得很忙，使系统大多数时间位于等待状态，效率很低，用性能监视工具就会发现，此时的CPU并不很忙，而系统却慢，这说明，瓶颈在I/O上，依靠提高CPU的速度是解决不了问题的。

　　性能监视

　　Swap空间的分配固然很重要，而系统在运行时的性能监控却更加有价值，通过性能监视工具可以检查系统的各项性能指标，找到系统性能的瓶颈。本文只介绍一下在Solaris下和Swap相关的一些命令和用途。

　　最常用的是Vmstat命令，在大多数Unix平台下都有此命令，此命令可以查看大多数性能的指标。

　　另外使用swap －s 也能简单的查看当前swap资源的使用情况。例如：
　　＃ swap －s
　　total: 65896k bytes allocated ＋ 56840k reserved = 122736k used, 　　1069456k available

　　能够方便的看出swap空间的已用和未用资源的大小。应该使Swap保持30％的负载以下，才能保证系统的良好性能。

　　Solaris中Swap的特点

　　虚拟Swap空间

　　本来Swap空间就是为虚拟内存服务的，现在Solaris的Swap空间也成为虚拟，这到底是怎么回事呢？

　　让我们看一个例子就明白了，当在Solaris 2以前版本的Solaris(或其它Unix， 如Linux)上编程时经常会出现一个问题：

　　假设系统当前还有可用的内存空间为30M，而只剩下10M的Swap空间了，这时，如果有一个进程开始运行并企图执行Malloc(15＊1024＊1024)的命令(分配15M空间)，这个进程会因为这个命令而失败。

　　为什么呢？系统不是有30M可用的内存空间吗？原因在于：你的Swap空间不足，系统认为你在分配空间以后，没有能力(空间)在发生页面交换时，将这部分数据保存起来，因此认为你没有资格分配这块空间。这不是太不公平了吧！也许这15M空间根本不用交换，当前系统可是还有30M内存空间的富余啊!

　　还有更不公平的呢?有些大型系统配备了海量的内存，1G或4G，配了这么多内存就是为了避免交换，提高运行速度，可是系统还要为这个系统分配并不需要的Swap空间，占用了大量磁盘资源。

　　为了弥补这个缺陷，Sun为Solaris 2 以后的版本设计了虚拟Swap空间。所谓虚拟的Swap空间，概念其实很简单，swap空间再也不是单指硬盘的分区或文件。虚拟Swap空间包含两个部分：部分物理内存和传统上的Swap分区。经过适当的配置，可以使系统需要Swap空间时，先使用内存部分的swap空间，如果内存部分的swap空间不够，再使用磁盘部分的Swap空间。这样，也许你硬盘上的Swap空间很少得到使用了，甚至根本不需要Swap分区。

　　Swap空间与TMPFS文件系统的关系

　　你知道吗？虚拟Swap空间与 /tmp目录有相当大的关系。Sun在实现/tmp目录时，充分考虑了应用程序运行的效率。许多应用程序，特别是数据库服务都会频繁使用/tmp目录作为临时数据保存区，而Solaris将/tmp目录下的文件都放在内存中而不是硬盘里，这样会大大提高应用程序的效率。

　　但是/tmp目录的空间是从系统虚拟空间里挤出来的，是虚拟Swap空间的一部分。如果说，你用完了/tmp空间，也就是用完了Swap空间，所以要小心监视系统的/tmp目录的使用情况，千万别用光了，否则系统会瘫痪!下面两点建议作为参考：

　　1.在Mount /tmp目录时，使用(－o Size)选项来控制/tmp目录的大小。

　　2.当使用编译器编译文件时，如果不想占用Swap空间，则用TMPDIR环境变量指向另外一个临时目录，而不是/tmp目录。

　　有关Swap空间操作的系统命令

　　增加Swap空间

　　1.成为超级用户 ＄su － root

　　2.创建Swap文件 ＃mkfile nnn[klblm] filename
　　如：＃mkfile 100m swapfile1

　　3.激活Swap文件
　　Swap文件必须以绝对路径来指定，filename指的是上一步创建的文件。

　　4.现在新加的Swap文件已经起作用了，但系统重新启动以后，并不会记住前几步的操作。因此要在/etc/vfstab文件中记录文件的名字，和Swap类型，如：
/path/filename － － Swap － no －

　　5.效验Swap文件是否加上 /usr/sbin/swap －l

　　删除多余的Swap空间

　　1.成为超级用户

　　2.使用swap －d 命令收回swap空间。
　　＃/usr/sbin/swap －d /path/filename

　　3.编辑/etc/ufstab文件，去掉此Swap(交换)文件的实体。

　　4.从文件系统中回收此文件。
　　＃rm swap－filename

　　5.当然，如果此Swap(交换)空间不是一个文件，而是一个分区，则需创建一个新的文件系统，再挂接到原来的文件系统上。