Java爬虫笔记

HttpClient

---

RequestConfig的配置

一、时间设置

RequestConfig config = RequestConfig.custom()
                .setConnectTimeout(1000)
                .setConnectionRequestTimeout(1000)
                .setSocketTimeout(1000 * 2)
                .build();

connectTimeout：连接超时时间，是客户端和服务端建立连接即三次握手阶段的超时时间。
connectionRequestTimeout：客户端从连接池中获取连接的超时时间，
socketTimeout：在客户端和服务端建立好连接之后，服务端和客户端之间数据包传输的超时时间，而且这个超时时间是单次数据包超时时间。

---

自动重定向的设置

.setRedirectsEnabled(false)

true自动访问重定向后的网页，false关闭，返回未跳转前的页面内容

---

参考资料

HttpClient三个超时时间详解