本文探讨了使用Selenium进行网页爬取时遇到的浏览器频繁崩溃问题。作者在取消了每次点击后的暂停设置后，发现浏览器在爬取第一条数据时即死机。即使增加了暂停时间，问题仍未解决。经过排查，发现是Selenium和Firefox版本不匹配导致的问题。
在爬取网站数据时，总是出现浏览器已经停止而IDE还在后台运行的情况。
之前这种情况也有，不过通常是在已经抓了几百页数据之后才出现。
我记得昨天爬数据时可以一直爬到好几十页，后来我嫌慢，就注释了每次点击后的暂停两秒（我百度了一下发现这种行为很不道德），结果浏览器爬第一条数据浏览器就死掉了。后来我又在每条.click()代码后面设置暂停5秒，还是于事无补。
多次测试后我发现，IDE始终停留在这条代码：
String pageSource = driver.getPageSource();
最后查看了selenium和firefox的版本，原来是版本对应问题 —.—!
扫一扫
92
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
