Selenium是一个用于Web应用程序测试的工具。当我们使用爬虫爬取一些动态网站时,有时候会出现爬取不到东西的情况,这时候我们就可以使用浏览器模拟的方法来进行网页内容的爬取。selenium可以模拟浏览器的点击、输入、验证、打开等操作,就像真实用户所操作的一样。下面我们就介绍一下selenium的具体使用方法。
安装
pip install selenium
此处我们使用火狐浏览器进行模拟,使用浏览器模拟需要下载geckodriver.exe驱动。注意要下载适合自己火狐版本的geckodriver。
下载地址
https://github.com/mozilla/geckodriver/releases
导入库
from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains
from selenium.webdriver.firefox.options import Options as FOptions
创建对象
options = FOptions()
#此处路径写你下载的geckodirver.exe所在的路径。(linux系统无需加.exe后缀,注意'/'与'\')
brower = webdriver.Firefox(executable_path=