httpclient添加连接池

最近在测试一个项目时，发现http请求的性能不是很好，会有大量堵塞的请求集中在客户端，看了一下源代码采用的是httpclient的包发起的请求，网上看了一下资料，建立采用增加连接池的方式来解决此类性能问题。

增加连接池，本质很简单，就两行代码：

//配置一个PoolingHttpClientConnectionManager
PoolingHttpClientConnectionManager connectionManager = new PoolingHttpClientConnectionManager();
connectionManager.setMaxTotal(500);
connectionManager.setDefaultMaxPerRoute(50)

但仔细看了相关文章后，实际上有几个问题值得重视，1、这么加，加在什么地方不会导致重复创建连接池的情况。2、无用的连接如何自动清理。3.相关配置参数的含义。

第一、基本连接池配置代码

第一点，参考了这位博主的答案，他对http连接池的写法值得参考：

httpclient连接池配置 - 简书

我大部分复用了这位博主的代码，真心觉得写得不错，例如：
 

//使用双检锁机制，线程安全且在多线程情况下能保持高性能
    private void init() throws NoSuchAlgorithmException {
        if (pollManager == null) {//使用双检锁机制，线程安全且在多线程情况下能保持高性能
            synchronized (BaseHttpClientPoolUtil.class){
                if(pollManager == null){
                    LayeredConnectionSocketFactory sslsf = null;
                    sslsf = new SSLConnectionSocketFactory(SSLContext.getDefault());
                    Registry<ConnectionSocketFactory> socketFactoryRegistry = RegistryBuilder.<ConnectionSocketFactory>create()
                            .register("https", sslsf)
                            .register("http", new PlainConnectionSocketFactory())
                            .build();
                    pollManager = new PoolingHttpClientConnectionManager(socketFactoryRegistry);
                    pollManager.setMaxTotal(maxTotal);
                    pollManager.setDefaultMaxPerRoute(maxPerRoute);

                }

            }
        }
    }

包括重试机制之类的，这里就不一一列举了，希望有兴趣的可以好好看看。

博主大部分的代码已经可以直接使用，但个人觉得缺少了过期和空闲连接的清理，所以，我再创建连接池时，采用了httpclient默认的连接池清理方式

二、增加连接池空闲连接清理

ClientConnectionManager提供了 closeExpiredConnections()和closeIdleConnections()两个方法，关闭过期或空闲了一段时间的连接，并从连接池删除。

closeExpiredConnections()
该方法关闭超过连接保持时间的连接，并从池中移除。

closeIdleConnections(timeout,tunit)

该方法关闭空闲时间超过timeout的连接，空闲时间从交还给连接池时开始，不管是否已过期，超过空闲时间则关闭。

下面是httpclient官方提供的一种清理方法：

public static class IdleConnectionMonitorThread extends Thread {
    
    private final ClientConnectionManager connMgr;
    private volatile boolean shutdown;
    
    public IdleConnectionMonitorThread(ClientConnectionManager connMgr) {
        super();
        this.connMgr = connMgr;
    }

    @Override
    public void run() {
        try {
            while (!shutdown) {
                synchronized (this) {
                    wait(5000);
                    // Close expired connections
                    connMgr.closeExpiredConnections();
                    // Optionally, close connections
                    // that have been idle longer than 30 sec
                    connMgr.closeIdleConnections(30, TimeUnit.SECONDS);
                }
            }
        } catch (InterruptedException ex) {
            // terminate
        }
    }
    
    public void shutdown() {
        shutdown = true;
        synchronized (this) {
            notifyAll();
        }
    }
}

我们可以直接在创建连接时调用closeExpiredConnections()和closeIdleConnections(timeout,tunit)。

第三、连接池相关参数设定

最后，实际上是一些参数的值，我觉得主要是两方面，一是连接池的设定，二是http请求的参数。

对于连接池参数设定，连接数主要包含maxTotal-连接总数、maxPerRoute-路由最大连接数，尤其是maxPerRoute默认值为2，很小，设置不好的话即使maxTotal再大也无法充分利用连接池。具体设定值不同系统不一，例如请求的是固定路由，那实际上maxPerRoute就可以调大一些，具体的需要配合性能测试来调整。

超时参数相关设定

connectTimeout  --  连接超时时间

根据网络情况，内网、外网等，可设置连接超时时间为2秒，具体根据业务调整

socketTimeout  --  读超时时间（等待数据超时时间）

需要根据具体请求的业务而定，如请求的API接口从接到请求到返回数据的平均处理时间为1秒，那么读超时时间可以设置为2秒，考虑并发量较大的情况，也可以通过性能测试得到一个相对靠谱的值。

socketTimeout有默认值，也可以针对每个请求单独设置。

connectionRequestTimeout  --  从池中获取连接超时时间

建议设置500ms即可，不要设置太大，这样可以使连接池连接不够时不用等待太久去获取连接，不要让大量请求堆积在获取连接处，尽快抛出异常，发现问题。

参考博主链接：HttpClient 4.3连接池参数配置及源码解读_小吴先森的博客-CSDN博客