Httpclient代理挂起问题处理

因公司业务需要获取外网数据，因此写了一个爬虫程序，启用定时任务通过代理爬外网数据！

使用的是httpclient-4.5.10开源组件！

问题：

大概30~60分钟内，启动的10个定时任务全部挂起，僵死状态！监控查看线程全部如下：

都卡在 SocketInputStream.socketRead0上且没有任何错误日志，此时我第一反应是没有设置超时，查看原代码如下

        CloseableHttpClient httpClient = HttpClients.custom()
                .setDefaultRequestConfig(RequestConfig.custom()
                        .setConnectTimeout(6000)
                        .setSocketTimeout(6000)
                        .setConnectionRequestTimeout(1000)
                        .setProxy(new HttpHost(ip.getHost(), ip.getPort()))
                        .build())
                .build();

处理：

奇怪，明明设置了超时时间啊。没办法，看下httpclient源码创建过程，发现如下：

 

 看其类名应该是七层协议中的传输层的超时控制，而我只在最顶层的应用层设置了超时，调正后代码如下：

        PoolingHttpClientConnectionManager connectionManager = new PoolingHttpClientConnectionManager();
        connectionManager.setMaxTotal(200);
        connectionManager.setDefaultSocketConfig(SocketConfig.custom().setSoTimeout(6000).build());
        connectionManager.setDefaultMaxPerRoute(100);

        CloseableHttpClient httpClient = HttpClients.custom()
                .setConnectionManager(connectionManager)
                .setDefaultRequestConfig(RequestConfig.custom()
                        .setConnectTimeout(6000)
                        .setSocketTimeout(6000)
                        .setConnectionRequestTimeout(1000)
                        .setProxy(new HttpHost(ip.getHost(), ip.getPort()))
                        .build())
                .build();

提交代码重试，问题解决！