这个问题属于超时(TimeOut)的问题,无法重新连接到网站继续爬取。
【办法1】我的解决方案是(因为我爬取的网页所含图片挺多的)——添加不加载图片的设置,这样可以有效地提高爬取网页的速度。
【步骤3】添加启动参数:
chrome_options.add_argument('blink-settings=imagesEnabled=false')
chrome_options是配置(使用当前)浏览器启动时一些项的参数,我们这里采用的都是:
- 添加启动参数 (add_argument)
它的作用之一就是我所需的:
- 禁止图片和视频的加载:提升网页加载速度
【步骤1】使用前要先导入chrome options的Options模块:
from selenium.webdriver.chrome.options import Options
【步骤2】然后新建一个启动参数对象:
chrome_options = Options()