项目没有将所有的url都放在一起爬取,在for循环按一个一个url中去爬取启动spider网站,后来发现在第一个url顺利爬取完后,第二个url开始就报错:
后来发现是SeleniumDownloader 实在循环外启动的,导致webDriverPool的stat还是2,不能重新执行。
ps.
webDriverPool是在 SeleniumDownloader 中的checkInit中创建的。
private void checkInit() {
if (webDriverPool == null) {
synchronized (this) {
webDriverPool = new WebDriverPool(poolSize);
}
}
}