项目场景:
线上很老的一个项目要增加一个功能,调用对方接口然后进行数据更新,由于对方接口有时间段要求( PS:对方性能不在考虑范围内
),我这边基于commons-httpclient:3.1做的请求。
问题描述
由于对面接口的时间段要求,我这边采用线程池,10个线程,然后使用httpclient
调用对方接口,测试环境(Windows Server 2008)测试没问题,但是放到l线上环境(Linux)运行一会就报"Too many open files"
,代码如下:
HttpClient httpClient = new HttpClient();
GetMethod get= new GetMethod(uri);
try {
//业务处理
}finally{
get.releaseConnection();
}
原因分析:
看到错误的第一反应我也是修改ulimit资源限制,如果你也是这样的那很遗憾的告诉你这是不行滴,然后我把处理数量调小,发现还是报错,接着我捋一遍代码,也没发现问题了,明明也releaseConnection了。
解决方案:
从上面看执行releaseConnection()
应该释放资源。实际上,HttpClient建立Socket时 ,releaseConnection()
并没有真正关闭连接,而是将该连接提交给 MultiThreadedHttpConnectionManager,等待复用。而http的连接是等待timeout才会自动断开的,所以,当用完系统的句柄后,自然会报Too many open files
,参考别人的解决方案,代码改为如下:
HttpClient httpClient = new HttpClient(new MultiThreadedHttpConnectionManager());//使用连接池技术创建
get.addRequestHeader( "Connection", "close");
client.getParams().setBooleanParameter( "http.protocol.expect-continue" , false );
题外话:
Connection
:服务器响应后关闭连接http.protocol.expect-continue
:服务器检查请求的标头,客户端必须在其初始请求中作为标头发送MultiThreadedHttpConnectionManager
,我在研究这个类的发现一个工作中不常用的WeakHashMap
,有兴趣的小伙伴自己百度搜下,网上资料很多~
有说的不对的地方,欢迎指出
参考链接:
https://blog.csdn.net/qq_17056391/article/details/123119425
https://dandelioncloud.cn/article/details/1469325844262002689