欢迎关注”生信修炼手册”!
selenium是一个浏览器自动测试工具,通过驱动程序来自动化操作对应的浏览器,包括了打开浏览器窗口,定位元素,点击按钮,上传文件等操作,支持以下多款主流浏览器
selenium借助驱动程序webdriver来驱动相应的浏览器,以最常用的谷歌和火狐浏览器为例,对应的驱动程序如下
1. chromdriver, 谷歌浏览器的驱动程序
2. geckodriver, 火狐浏览器的驱动程序
chromdriver的下载地址如下
>http://chromedriver.storage.googleapis.com/index.html
geckodriver的下载地址如下
>https://github.com/mozilla/geckodriver/releases
需要注意的,要保证驱动程序和浏览器版本的匹配,这样才可以成功驱动浏览器。
在浏览器之中,有一个特殊的浏览器,称之为无头浏览器PhantomJS, 是一个没有GUI界面的浏览器,原生支持命令行运行模式,非常实用linux服务器上的自动化。但是随着该项目没人进一步维护,以及谷歌和火狐浏览器对于无头模式,即headless模式的支持,在python的selenium模块中,更推荐使用火狐和谷歌浏览器。
下面来看下selenium操作浏览器的最基本使用方式,代码如下
>>> from selenium import webdriver
>>> browser = webdriver.PhantomJS()
>>> browser.get('https://www.baidu.com')
>>> browser.close()
上述程序通过webdriver来启动PhantomJS浏览器,然后打开了百度首页,操作完毕之后关闭了浏览器的窗口。
在爬虫程序中,通过自动化操作浏览器,来模拟真实用户的浏览操作,避开了动态资源解析的难点,使得程序的结果和我们在浏览器中获得的结果完全一致,所以selenium是爬虫的一大利器,是解决动态页面的终极武器,但是缺点也很显著,就是速度慢了很多,所以主要应用于复杂网站的资源爬取。
通过selenium模块,还可以实现以下操作
1. 定位元素,就是查找html中的特定元素
2. 操作元素,进行下拉列表的选择,文本框的输入,按钮的提交等操作
1. 定位元素
有多种方法来查找元素,对应find_element系列方法,又可以细分为查找单个元素和多个元素,区别就是多个元素对应的函数名字为find_elements。以查找单个元素为例,有以下几种方法
1. find_element_by_id
2. find_element_by_name
3. find_element_by_xpath
4. find_element_