错误:org.apache.http.conn.ConnectionPoolTimeoutException: Timeout waiting for connection from pool
前言 :
第一次看到这个错误, 上网找了下,有文章说是连接池不够了。。。。 并没有多想,立即将原有程序的 链接池扩容了3倍,然后单个路由 扩容了5倍。
问题解决, 以为找到了,答案。 但是 过了大约 几天之后,再次出现该问题,当时就特别疑惑, 没有扩容之前 程序已经运行了 将近两年,并没有发生任何错误,
现在 扩容了,竟然还报这个错, 此时 分析方向 应该发生改变。
怀疑方向一 : 大量的Timeout 出现,是否 请求的域名有问题 ?
于是,手动 ping 了访问域名,发现并没有多慢. (疑问否决)
怀疑方向二 : 是否我们服务器出口IP 有问题, 请求 指定域名 超时?
于是乎我们新开了一台机器, 然后将 原有的两台机器 停掉一台, 并且新开的机器 使用 全新的出口IP, 以区分于原有机器,后来发现 新卡的机器,没有问题。
因此,我们大致定位了问题,就是 服务器的出口IP 有问题, 并不是程序的问题。 所以,解决方案就是 找运维 重新申请配置了机器.
下面 贴出 我连接池的 写法, 做个小笔记 。
HttpClient 版本如下
<dependency>
<groupId>org.apache.httpcomponents</groupId>
<artifactId>httpclient</artifactId>
<version>4.3.4</version>
</dependency>
<dependency>
<groupId>org.apache.httpcomponents</groupId>
<artifactId>httpcore</artifactId>
<version>4.3.2</version>
</dependency>
<dependency>
<groupId>org.apache.httpcomponents</groupId>
<artifactId>httpmime</artifactId>
<version>4.3.1</version>
</dependency>
连接池代码如下 :
package com.**.weixin.common.https;
import org.apache.http.client.HttpClient;
import org.apache.http.client.config.RequestConfig;
import org.apache.http.conn.ssl.SSLConnectionSocketFactory;
import org.apache.http.impl.client.HttpClientBuilder;
import org.apache.http.impl.client.HttpClients;
import org.apache.http.impl.conn.PoolingHttpClientConnectionManager;
public class HttpClientFactory {
private static final Integer MAX_TOTAL = 300; //连接池最大连接数
private static final Integer MAX_PER_ROUTE = 50; //单个路由默认最大连接数
private static final Integer REQ_TIMEOUT = 5 * 1000; //请求超时时间ms
private static final Integer CONN_TIMEOUT = 5 * 1000; //连接超时时间ms
private static final Integer SOCK_TIMEOUT = 10 * 1000; //读取超时时间ms
private static HttpClientConnectionMonitorThread thread; //HTTP链接管理器线程
public static HttpClientConnectionMonitorThread getThread() {
return thread;
}
public static void setThread(HttpClientConnectionMonitorThread thread) {
HttpClientFactory.thread = thread;
}
public static HttpClient createSimpleHttpClient(){
SSLConnectionSocketFactory sf = SSLConnectionSocketFactory.getSocketFactory();
return HttpClientBuilder.create()
.setSSLSocketFactory(sf)
.build();
}
public static HttpClient createHttpClient() {
PoolingHttpClientConnectionManager poolingHttpClientConnectionManager = new PoolingHttpClientConnectionManager();
poolingHttpClientConnectionManager.setMaxTotal(MAX_TOTAL);
poolingHttpClientConnectionManager.setDefaultMaxPerRoute(MAX_PER_ROUTE);
RequestConfig requestConfig = RequestConfig.custom()
.setConnectionRequestTimeout(REQ_TIMEOUT)
.setConnectTimeout(CONN_TIMEOUT).setSocketTimeout(SOCK_TIMEOUT)
.build();
HttpClientFactory.thread=new HttpClientConnectionMonitorThread(poolingHttpClientConnectionManager); //管理 http连接池
return HttpClients.custom().setConnectionManager(poolingHttpClientConnectionManager).setDefaultRequestConfig(requestConfig).build();
}
}
以下 线程用来清理 连接池无效的链接 :
package com.**.weixin.common.https;
import java.util.concurrent.TimeUnit;
import org.apache.http.conn.HttpClientConnectionManager;
/**
* <p>Description: 使用管理器,管理HTTP连接池 无效链接定期清理功能</p>
* @author andy 2017年8月28日
*/
public class HttpClientConnectionMonitorThread extends Thread {
private final HttpClientConnectionManager connManager;
private volatile boolean shutdown;
public HttpClientConnectionMonitorThread(HttpClientConnectionManager connManager) {
super();
this.setName("http-connection-monitor");
this.setDaemon(true);
this.connManager = connManager;
this.start();
}
@Override
public void run() {
try {
while (!shutdown) {
synchronized (this) {
wait(5000); // 等待5秒
// 关闭过期的链接
connManager.closeExpiredConnections();
// 选择关闭 空闲30秒的链接
connManager.closeIdleConnections(30, TimeUnit.SECONDS);
}
}
} catch (InterruptedException ex) {
}
}
/**
* 方法描述: 停止 管理器 清理无效链接 (该方法当前暂时关闭)
* @author andy 2017年8月28日 下午1:45:18
*/
@Deprecated
public void shutDownMonitor() {
synchronized (this) {
shutdown = true;
notifyAll();
}
}
}