selenium是一个Python用于web自动化测试的第三方库,可用于爬虫爬取动态页面
首先是安装库,使用命令行安装即可
pip install selenium
然后就是下载浏览器驱动,这一步需要注意,使用Chrome和Firefox的浏览器驱动需要下载和浏览器版本对应的驱动版本,IE浏览器下载和selenium版本相同即可,我这里看了一些博客,其中有一些博客给的驱动下载网址里面的驱动版本跟不上了,我的Chrome版本太高,找不到合适的,然后开始阅读其他博客,终于找到了一个适合的下载网站,这里把网址(这里我只是用了Chrome,其他的没试过)附下:
Chorme chromedriver下载网址:
ChromeDriver - WebDriver for Chrome - Downloads (chromium.org)
Firefox geckodriver下载网址:
Releases · mozilla/geckodriver (github.com)
IE IEDriver下载网址:
selenium-release.storage.googleapis.com/index.html
下载完成解压到Python目录下(在Anaconda虚拟环境下,需要解压到对应的虚拟环境的Python目录下的\Scripts\目录当中)
新版的selenium,在构造WebDriver对象的时候,构造函数是没有executable_path参数的,应该是上面已经配置好了,会自动在Python解释器目录下寻找,但是想用自定义驱动目录,需要构造Service对象,Service类的构造函数里有executable_path参数,可以解决浏览器驱动自定义目录问题,如下所示
service=Service(executable_path="浏览器驱动目录")
driver = webdriver.Chrome(service=service)