- 目录
1.简介
Selenium是一个用于Web应用程序测试的工具。直接运行在浏览器中,就像真正的用户在操作一样。支持的浏览器包括IE(7, 8, 9, 10, 11),Firefox,Safari,Chrome,Opera等,在爬虫上则是模拟正常用户访问网页并获取数据。
2.安装 Selenium
> pip install selenium
3.安装驱动
模拟真正的用户操作当然需要选择好用来操作的浏览器,根据浏览器来安装相应的驱动调起。
3.1 Chrome
使用selenium驱动chrome浏览器需要下载chromedriver,而且chromedriver版本需要与chrome的版本对应,版本错误的话则会运行报错。
查看chrome的版本,可通过帮助 > 关于Google Chrome(G)
。
下载chromedriver可以通过淘宝镜像地址:http://npm.taobao.org/mirrors/chromedriver/ 。最新的镜像与Chrome同名,尽量选择版本相近的避免兼容问题,镜像下notes.txt可查看当前驱动支持的版本。
选择合适的版本下载,下载完解压将chromedriver.exe放在有设置环境变量的目录下,小编是放在python的安装目录下的,即python.exe所在的目录。
3.2 Firefox
使用selenium驱动Firefox浏览器需要下载geckodriver,查看浏览器版本通过帮助 > 关于 Firefox
。
下载geckodriver可通过mozilla的仓库地址:https://github.com/mozilla/geckodriver/releases 。
选择合适的版本下载,解压后geckodriver.exe同样也是放在python的安装目录下。
3.3 其它浏览器驱动下载
Opera:http://npm.taobao.org/mirrors/operadriver/
IE:http://selenium-release.storage.googleapis.com/index.html (版本号要与selenium的版本一致,查看安装的selenium版本,可通过pip show selenium
)如果没有vpn可能会打不开,可点击下载3.14.0版本的。
4.Selenium使用
4.1 Chrome 配置
options = webdriver.ChromeOptions()
## 无界面
# options.add_argument('--headless')
driver = webdriver.Chrome(chrome_options