0x01 简介
之前写过一篇用python+selenium模块和PhantomJS模拟浏览器进行爬虫爬取的文章,今天又要用到的时候发现selenium模块已经不支持PhantomJS了,使用的时候会报错。要求换用Firefox或者Chrome进行爬取。本文决定采用Chrome浏览器进行实验。
0x02 环境搭建
1.selenium模块
python模块通过pip安装即可
python -m pip install selenium
2.Chrome浏览器
要模拟浏览器要求本地需要安装Chrome浏览器,官网下载对应版本即可,本次采用 71.0.3578.98(正式版本) (64 位)
3.chromedriver驱动
要调用Chrome浏览器需要安装Chromedriver驱动,且根据安装的浏览器的版本的不同需要安装不同的驱动版本。版本号对应如下:
chromedriver版本 支持的Chrome版本
v2.32 v59-61
v2.31 v58-60
v2.30 v58-60
v2.29 v56-58
v2.28 v55-57
v2.27 v54-56
v2.26 v53-55
v2.25 v53-55
v2.24 v52-54
v2.23 v51-53
v2.22 v49-52
v2.21