基本的 状态码为400-415的为客户端错误
500-505为服务器错误
一般状态码返回503 是因为访问的服务器过载 也有可能是服务器处于维护状态
通过浏览器可以访问到的网页 而通过爬虫 就返回状态503的一般访问过快导致是服务器过载 也就是过一会还可以接着访问改网页
但是频繁运行爬虫感觉不是特别方便 所以就可以通过Thread.sleep()方法 来让代码休息一定的时间再去访问改网页
通过try catch来解决
while (true) {// 直到服务器反应过来 再接着访问 处于过载状态 代码接着休息
Document document = null;
try {
document = Jsoup.connect(url).get();//获取网站html内容
//运行成功则接着访问
break;
} catch (Exception e) {
System.out.println("服务器过载,休息10秒!");
Thread.sleep(10000);
//结束本次循环
continue;
}
}