HttpClient连接池抛出大量ConnectionPoolTimeoutException: Timeout waiting for connection异常排查

原创 2011年07月18日 20:11:15

今天解决了一个HttpClient的异常,汗啊,一个HttpClient使用稍有不慎都会是毁灭级别的啊。

这里有之前因为route配置不当导致服务器异常的一个处理:http://blog.csdn.net/shootyou/article/details/6415248

里面的HttpConnectionManager实现就是我在这里使用的实现。


问题表现:

tomcat后台日志发现大量异常

org.apache.http.conn.ConnectionPoolTimeoutException: Timeout waiting for connection

时间一长tomcat就无法继续处理其他请求,从假死变成真死了。

linux运行:

netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'
发现CLOSE_WAIT的数量始终在400以上,一直没降过。


问题分析:

一开始我对我的HttpClient使用过程深信不疑,我不认为异常是来自这里。

所以我开始从TCP的连接状态入手,猜测可能导致异常的原因。以前经常遇到TIME_WAIT数过大导致的服务器异常,很容易解决,修改下sysctl就ok了。但是这次是CLOSE_WAIT,是完全不同的概念了。

关于TIME_WAIT和CLOSE_WAIT的区别和异常处理我会单独起一篇文章详细说说我的理解。


简单来说CLOSE_WAIT数目过大是由于被动关闭连接处理不当导致的。

我说一个场景,服务器A会去请求服务器B上面的apache获取文件资源,正常情况下,如果请求成功,那么在抓取完资源后服务器A会主动发出关闭连接的请求,这个时候就是主动关闭连接,连接状态我们可以看到是TIME_WAIT。如果一旦发生异常呢?假设请求的资源服务器B上并不存在,那么这个时候就会由服务器B发出关闭连接的请求,服务器A就是被动的关闭了连接,如果服务器A被动关闭连接之后自己并没有释放连接,那就会造成CLOSE_WAIT的状态了。

所以很明显,问题还是处在程序里头。


先看看我的HttpConnectionManager实现:

public class HttpConnectionManager { 

	private static HttpParams httpParams;
	private static ClientConnectionManager connectionManager;

	/**
	 * 最大连接数
	 */
	public final static int MAX_TOTAL_CONNECTIONS = 800;
	/**
	 * 获取连接的最大等待时间
	 */
	public final static int WAIT_TIMEOUT = 60000;
	/**
	 * 每个路由最大连接数
	 */
	public final static int MAX_ROUTE_CONNECTIONS = 400;
	/**
	 * 连接超时时间
	 */
	public final static int CONNECT_TIMEOUT = 10000;
	/**
	 * 读取超时时间
	 */
	public final static int READ_TIMEOUT = 10000;

	static {
		httpParams = new BasicHttpParams();
		// 设置最大连接数
		ConnManagerParams.setMaxTotalConnections(httpParams, MAX_TOTAL_CONNECTIONS);
		// 设置获取连接的最大等待时间
		ConnManagerParams.setTimeout(httpParams, WAIT_TIMEOUT);
		// 设置每个路由最大连接数
		ConnPerRouteBean connPerRoute = new ConnPerRouteBean(MAX_ROUTE_CONNECTIONS);
		ConnManagerParams.setMaxConnectionsPerRoute(httpParams,connPerRoute);
		// 设置连接超时时间
		HttpConnectionParams.setConnectionTimeout(httpParams, CONNECT_TIMEOUT);
		// 设置读取超时时间
		HttpConnectionParams.setSoTimeout(httpParams, READ_TIMEOUT);

		SchemeRegistry registry = new SchemeRegistry();
		registry.register(new Scheme("http", PlainSocketFactory.getSocketFactory(), 80));
		registry.register(new Scheme("https", SSLSocketFactory.getSocketFactory(), 443));

		connectionManager = new ThreadSafeClientConnManager(httpParams, registry);
	}

	public static HttpClient getHttpClient() {
		return new DefaultHttpClient(connectionManager, httpParams);
	}

}


看到没MAX_ROUTE_CONNECTIONS 正好是400,跟CLOSE_WAIT非常接近啊,难道是巧合?继续往下看。

然后看看调用它的代码是什么样的:

public static String readNet (String urlPath)
	{
		StringBuffer sb = new StringBuffer ();
		HttpClient client = null;
		InputStream in = null;
		InputStreamReader isr = null;
		try
		{
			client = HttpConnectionManager.getHttpClient();
			HttpGet get = new HttpGet();
            get.setURI(new URI(urlPath));
            HttpResponse response = client.execute(get);
            if (response.getStatusLine ().getStatusCode () != 200) {
                return null;
            }
            HttpEntity entity =response.getEntity();
            
            if( entity != null ){
            	in = entity.getContent();
            	.....
            }
            return sb.toString ();
			
		}
		catch (Exception e)
		{
			e.printStackTrace ();
			return null;
		}
		finally
		{
			if (isr != null){
				try
				{
					isr.close ();
				}
				catch (IOException e)
				{
					e.printStackTrace ();
				}
			}
			if (in != null){
				try
				{
					in.close ();
				}
				catch (IOException e)
				{
					e.printStackTrace ();
				}
			}
		}
	}

很简单,就是个远程读取中文页面的方法。值得注意的是这一段代码是后来某某同学加上去的,看上去没啥问题,是用于非200状态的异常处理:

if (response.getStatusLine ().getStatusCode () != 200) {
                return null;
            }

代码本身没有问题,但是问题是放错了位置。如果这么写的话就没问题:

client = HttpConnectionManager.getHttpClient();
			HttpGet get = new HttpGet();
            get.setURI(new URI(urlPath));
            HttpResponse response = client.execute(get);
            
            HttpEntity entity =response.getEntity();
            
            if( entity != null ){
            	in = entity.getContent();
            ..........
            }
            
            if (response.getStatusLine ().getStatusCode () != 200) {
                return null;
            }
            return sb.toString ();
看出毛病了吧。在这篇入门(HttpClient4.X 升级 入门 + http连接池使用)里头我提到了HttpClient4使用我们常用的InputStream.close()来确认连接关闭,前面那种写法InputStream in 根本就不会被赋值,意味着一旦出现非200的连接,这个连接将永远僵死在连接池里头,太恐怖了。。。所以我们看到CLOST_WAIT数目为400,因为对一个路由的连接已经完全被僵死连接占满了。。。

其实上面那段代码还有一个没处理好的地方,异常处理不够严谨,所以最后我把代码改成了这样:

public static String readNet (String urlPath)
	{
		StringBuffer sb = new StringBuffer ();
		HttpClient client = null;
		InputStream in = null;
		InputStreamReader isr = null;
		HttpGet get = new HttpGet();
		try
		{
			client = HttpConnectionManager.getHttpClient();
            get.setURI(new URI(urlPath));
            HttpResponse response = client.execute(get);
            if (response.getStatusLine ().getStatusCode () != 200) {
            	get.abort();
                return null;
            }
            HttpEntity entity =response.getEntity();
            
            if( entity != null ){
            	in = entity.getContent();
            	......
            }
            return sb.toString ();
			
		}
		catch (Exception e)
		{
			get.abort();
			e.printStackTrace ();
			return null;
		}
		finally
		{
			if (isr != null){
				try
				{
					isr.close ();
				}
				catch (IOException e)
				{
					e.printStackTrace ();
				}
			}
			if (in != null){
				try
				{
					in.close ();
				}
				catch (IOException e)
				{
					e.printStackTrace ();
				}
			}
		}
	}

显示调用HttpGet的abort,这样就会直接中止这次连接,我们在遇到异常的时候应该显示调用,因为谁能保证异常是在InputStream in赋值之后才抛出的呢。


好了 ,分析完毕,明天准备总结下CLOSE_WAIT和TIME_WAIT的区别。

HttpClient大并发下Timeout waiting for connection from pool优化方案

(本文的优化方案是由同事给出,我就对此做一下整理,记录分享给大家) 当前用的httpclient  jar 包是 httpclient-4.3.6,相对应之前的版本是有一些不同的,用起来也会...
  • falynn1220
  • falynn1220
  • 2016年01月29日 15:56
  • 5756

HttpClient大并发下Timeout waiting for connection from pool 问题解决方案

错误:org.apache.http.conn.ConnectionPoolTimeoutException: Timeout waiting for connection from pool 前...
  • u010025294
  • u010025294
  • 2017年09月01日 14:31
  • 635

[原创] Python 使用指定的网卡发送HTTP请求

多个网卡的情况, 如何使用指定的网卡发送数据?$ curl --interface eth0 www.baidu.com # curl interface 可以指定网卡. 阅读 urllib.py ...
  • u012731379
  • u012731379
  • 2017年12月04日 17:07
  • 202

Python学习2--requests库高级用法

高级用法本篇文档涵盖了 Requests 的一些高级特性。会话对象会话对象让你能够跨请求保持某些参数。它也会在同一个 Session 实例发出的所有请求之间保持 cookie, 期间使用 urllib...
  • aaaaaaaa123321222
  • aaaaaaaa123321222
  • 2018年01月02日 13:21
  • 28

解决Httpclient 4 偶尔报错ConnectionPoolTimeoutException: Timeout waiting for connection from pool

HttpParams paramsw = new BasicHttpParams(); HttpConnectionParams.setStaleCheckingEnabled(paramsw, fa...
  • m13321169565
  • m13321169565
  • 2013年09月27日 14:17
  • 9932

org.apache.commons.httpclient.ConnectionPoolTimeoutException: Timeout waiting for connection异常解决方案

问题描述:在较大并发情况下通过Axis2 v1.6生成的客户端掉相关服务,会持续抛出一下异常: org.apache.commons.httpclient.ConnectionPoolTimeo...
  • lklinkang
  • lklinkang
  • 2012年09月10日 10:37
  • 4234

Python requests“Max retries exceeded with url” error

今天写python网络爬虫的时候遇到一个问题,报错的具体内容如下:HTTPConnectionPool(host='dds.cr.usgs.gov', port=80): Max retries ex...
  • shi_weihappy
  • shi_weihappy
  • 2016年03月29日 21:40
  • 22292

REQUEST高级用法

本篇文档涵盖了 Requests 的一些高级特性。 会话对象 会话对象让你能够跨请求保持某些参数。它也会在同一个 Session 实例发出的所有请求之间保持 cookie, 期间使用 urllib...
  • changsimeng
  • changsimeng
  • 2016年09月09日 11:09
  • 184

解决vagrant default: Warning: Connection timeout. Retrying...的问题

今天需要在Windows下重装 virtualBox + vagrant 开发环境,装到后面一直提示连接不上,如图:出现了两个错误: 错误一:SSH is not running ...
  • wang78699425
  • wang78699425
  • 2017年01月09日 18:38
  • 648

HttpClient连接池抛出大量ConnectionPoolTimeoutException: Timeout waiting for connection

HttpClient连接池抛出大量ConnectionPoolTimeoutException: Timeout waiting for connection异常排查 http://bl...
  • hualizide
  • hualizide
  • 2015年01月09日 13:46
  • 2560
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:HttpClient连接池抛出大量ConnectionPoolTimeoutException: Timeout waiting for connection异常排查
举报原因:
原因补充:

(最多只允许输入30个字)