最近在做爬虫项目时,遇到了这样一个问题,org.apache.http.conn.HttpHostConnectException: Connect to search.51job.com,翻译过来就是连接超时的意思,这个报错导致的结果就是,爬虫数据时爬取一半,直接报错连接中断,如果没有设置去掉重复数据的代码,下一次运行会重新下载重复数据到数据库。并且还会继续超时。解决方法就是在代码中设置超时时间,将超时时间调长一点就好了。
解决代码如下:
private static RequestConfig getConfig() {
//设置创建连接,获取连接,数据传输的最长时间
RequestConfig config = RequestConfig.custom().setConnectTimeout(10000).setConnectionRequestTimeout(10000).setSocketTimeout(10000).build();
return config;
}
如果还报超时继续加长时间
org.apache.http.conn.HttpHostConnectException: Connect to search.51job.com:,爬虫爬取51job.com时连接超时,解决方案
最新推荐文章于 2024-07-02 12:23:35 发布