三、Selenium框架
这里主要以selenium自动化测试框架在爬虫中的应用,selenium能够大幅降低爬虫的编写难度,但是也同样会大幅降低爬虫的爬取速度。
1.selenium介绍
- Selenium是一个Web的自动化测试工具,最初是为网站自动化测试而开发的,Selenium可以直接调用浏览器,它支持所有主流的浏览器,可以接收指令,让浏览器自动加载页面,获取需要的数据,甚至页面截屏等。
2.效果展示
- python代码能够自动的调用谷歌浏览器或phantimjs无界面浏览器,控制其自动访问网站
from selenium import webdriver
# 如果driver没有添加到了环境变量,则需要将driver的绝对路径赋值给executable_path参数
driver = webdriver.Chrome(executable_path='D:\Chrome_webdriver\chromedriver.exe')
# 如果driver添加了环境变量则不需要设置executable_path
#driver = webdriver.Chrome()
# 向url发起请求
driver.get("https://www.baidu.com"