遇见的问题:python使用selenium时碰见了加载超时时,后续网页全部报加载超时的错误
解决办法:一旦超时出错后,重启浏览器,再继续跑,就没问题了。
昨天晚上跑了一个selenium的代码,好多个url,然后获取get到网页后截图保存到本地,使用nohup守护进程运行,同时开了五个程序一起爬,一边梦想着第二天早上的丰收成果。
第二天早上一看,只有二百多张图片,直接整个人都蒙了,为什么?
然后查看自己的log文件以及errlog文件,发现了大量的无法访问,是不是昨天晚上断网了所以才无法访问的?
接下来自己开始前台测试一个,看着结果,然后过了几分钟后,忽然开始大量的无法访问,追根溯源发现有一个url真的是无妨访问,但是剩下的都是可以访问的,代码如下:
很郁闷的一件事情,不知道如果超时了重启浏览器行不行,然后把代码改成了这个:
然后再次运行,发现,好像,真的没问题了