3.2.9 HttpClient请求重试

使用HttpClient请求URL时，有时候会出现请求异常的情况。针对一些非致命的异常，可以通过请求重试解决。HttpClient提供了默认重试策略DefaultHttpRequestRetryHandler。DefaultHttpRequestRetryHandler类实现了HttpRequestRetryHandler接口，重写了retryRequest()方法。查看DefaultHttpRequestRetryHandler的源码可以发现DefaultHttpRequestRetryHandler类定义的默认重试次数是3次；幂等方法(如GET和 HEAD是幂等的)可以重试。如果网页请求失败，可以重试。另外针对以下4种异常则不进行重试，这四种异常分别是InterruptedIOException(线程中断异常)、UnknownHostException(未知的Host异常)、ConnectException(连接异常，如连接拒绝异常)和SSLException(HTTPS请求认证异常)。
在实例化HttpClient时，可以使用HttpClientBuilder类中的setRetryHandler()方法设置重试，如程序3-21所示，自定义重试次数为5次。

//程序3-21
public class HttpClientRetry {
    public static void main(String[] args) throws Exception {
        //配置信息
        RequestConfig defaultConfig = RequestConfig.custom().setCookieSpec(CookieSpecs.STANDARD_STRICT).setExpectContinueEnabled(true).setTargetPreferredAuthSchemes(Arrays.asList(AuthSchemes.NTLM, AuthSchemes.DIGEST))
                .setProxyPreferredAuthSchemes(Arrays.asList(AuthSchemes.BASIC)).setConnectionRequestTimeout(10*1000).setConnectTimeout(5*1000).setSocketTimeout(5*1000).build();
        //自定义设置重试次数
        HttpClient  httpClient = HttpClients.custom().setDefaultRequestConfig(defaultConfig).setRetryHandler(new DefaultHttpRequestRetryHandler(5, true)).build();
        HttpGet httpGet = new HttpGet("https://searchcustomerexperience.techtarget.com/info/news");
        HttpResponse response = null;
        try {
            response = httpClient.execute(httpGet);
        }catch (Exception e){
            e.printStackTrace();
        }
        String result = EntityUtils.toString(response.getEntity(),"utf-8");
        System.out.println(result);
        EntityUtils.consume(response.getEntity());
    }
}

值得注意的是，在进行数据爬取时经常遇到的两种超时时间:ConnectTimeout(建立连接的超时时间)和SocketTimeOut(获取数据的超时时间)，这两种超时时间对应的异常(ConnectionTimeoutException与SocketTimeoutException)都继承自InterruptedIOException类，即线程中断异常，不会进行重试。