1.selenium 2介绍
selenium是目前一个web自动化测试很流行的模拟浏览器的程序测试系统。严格说来,Selenium是一套完整的Web应用程序测试系统,它包含了测试的录制(Selenium IDE)、编写及运行(Selenium Remote Control)和测试的并行处理(Selenium Grid)。Selenium的核心Selenium Core基于JsUnit,完全由JavaScript编写,因此可运行于任何支持JavaScript的浏览器上。Selenium Core由一种指定格式的HTML文件驱动,在一定程度上增强了测试套件(Test Suite)的可读性。
2.selenium优势
(1)我选用selenium部分是因为一般爬虫程序只能解析静态的网页,不能很好的处理带有js和ajax的页面。因为现在网站出于多方面的考量,都会使用js和ajax技术来设计页面请求。
(2)除上面那点之外,我们看到现在大型的网站都会要求先登录才可以查看网页,并且登录模块中会附有验证码以及各中加密算法,以及通过ajax与服务器建立连接等。使得我们处理登录时,必须要完全模拟登陆的全过程。大大提高了难度,并且像淘宝这类的,它加密算法很复杂并且定期会变动的,你研究模拟登陆的意义也就没那么大了。
3.selenium安装
3.1安装selenium
python目录下执行命令:
pip install selenium
3.2安装浏览器对应的webdriver程序
我使用的浏览器是chrome,所以我从网上下载了chrome的webdriver驱动程序
4.selenium常用基本语法