在vmware的paas平台cloudfoundry布署了一个价格抓取程序,隔一段时间会抓取价格进行处理。
程序运行一段时间就会报too many open file错误。
程序对打开的文件资源都进行了正确回收释放,而且在本机windows环境布署的tomcat7上运行正常。
在官网论坛上查找原因分析,
cloudfoundry平台基于linux,有filedescriptor数量的限制,
免费的是256,如果超过256就会报too many open file。
程序使用httpclient-4.1.2开源包的HttpClient.execute(get);读取网络数据
此函数读取网络数据要创建filedescriptor,
虽然用完就释放了,但在操作系统上并没有实时释放,
所以再次使用会报too many open file错误。
解决:
简单的办法,用单例模式管理HttpClient对象,使用同一个HttpClient对象。
更好的办法,使用资源池管理HttpClient对象,像管理数据库连接池一样管理filedescriptor对象或者HttpClient对象。
至此,问题得到解决。