我们知道,现在大多数网站都是异步加载,直接request网页获取数据方式是不行的,通常我们用到的组合工具就是:
senelium+chromedriver+chrome浏览器
在我的爬虫在跑的过程中,有的机器上跑着正常,有的机器上经常跑一段时间就chromedriver报错,错误还不都一样。查找资料后发现,原来chromedriver和chrome浏览器还存在版本搭配的情况,我的几台机子上chrome版本不一样,所以表现不同。
下面是chrome浏览器与chromedriver的版本对应关系,供参考:
ChromeDriver v2.43 (2018-10-17)----------Supports Chrome v69-71
ChromeDriver v2.42 (2018-09-13)----------Supports Chrome v68-70
ChromeDriver v2.41 (2018-07-27)----------Supports Chrome v67-69
ChromeDriver v2.40 (2018-06-07)----------Supports Chrome v66-68
ChromeDriver v2.39 (2018-05-30)----------Supports Chrome v66-68
ChromeDriver v2.38 (2018-04-17)----------Supports Chrome v65-67
ChromeDriver v2.37 (2018-03-16)----------Supports Chrome v64-66
ChromeDriver v2.36 (2018-03-02)----------Supports Chrome v63-65
ChromeDriver v2.35 (2018-01-10)----------Supports Chrome v62-64
chromedrive下载地址:
http://npm.taobao.org/mirrors/chromedriver/
chrome浏览器下载地址:
http://www.chrome.com