因公司业务需要获取外网数据,因此写了一个爬虫程序,启用定时任务通过代理爬外网数据!
使用的是httpclient-4.5.10开源组件!
问题:
大概30~60分钟内,启动的10个定时任务全部挂起,僵死状态!监控查看线程全部如下:
都卡在 SocketInputStream.socketRead0上且没有任何错误日志,此时我第一反应是没有设置超时,查看原代码如下
CloseableHttpClient httpClient = HttpClients.custom()
.setDefaultRequestConfig(RequestConfig.custom()
.setConnectTimeout(6000)
.setSocketTimeout(6000)
.setConnectionRequestTimeout(1000)
.setProxy(new HttpHost(ip.getHost(), ip.getPort()))
.build())
.build();
处理:
奇怪,明明设置了超时时间啊。没办法,看下httpclient源码创建过程,发现如下:
看其类名应该是七层协议中的传输层的超时控制,而我只在最顶层的应用层设置了超时,调正后代码如下:
PoolingHttpClientConnectionManager connectionManager = new PoolingHttpClientConnectionManager();
connectionManager.setMaxTotal(200);
connectionManager.setDefaultSocketConfig(SocketConfig.custom().setSoTimeout(6000).build());
connectionManager.setDefaultMaxPerRoute(100);
CloseableHttpClient httpClient = HttpClients.custom()
.setConnectionManager(connectionManager)
.setDefaultRequestConfig(RequestConfig.custom()
.setConnectTimeout(6000)
.setSocketTimeout(6000)
.setConnectionRequestTimeout(1000)
.setProxy(new HttpHost(ip.getHost(), ip.getPort()))
.build())
.build();
提交代码重试,问题解决!