Python+Selenium2 搭建自动化测试环境

米扑科技的许多项目都用到了爬虫采集网页数据，突破反爬虫、自动化测试、回归测试也要求米扑考虑构建自动化，来提高整个团队的极致工作效率。

由于忙于需求以及产品的流程规范，现在对于测试技术方面的研究也积累了很多。不过不管做什么，做好最重要！

搞自动化主要是出于团队建设考虑，一方面为了提供测试部门的工作效率，保障产品质量；另一方面，也是为了提升团队成员的测试技能，保证Team良性发展。不过不管如何，自动化是必须要搞，不然繁琐的回归测试是没有任何效率保证和质量保障的。

初步计划通过Python作为脚本语言，Selenium作为web端的测试工具，目前主要是基于web端来构建的。

米扑博客原文：Python+Selenium2 搭建自动化测试环境

 

Python 安装

yum -y update

yum -y install gcc gcc-g++ python python-devel python-pip

yum -y install Xvfb firefox

pip install pyvirtualdisplay

yum -y install gcc gcc-c++ autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxml2 libxml2-devel zlib zlib-devel glibc glibc-devel glib2 glib2-devel bzip2 bzip2-devel ncurses ncurses-devel curl curl-devel e2fsprogs e2fsprogs-devel krb5 krb5-devel libidn libidn-devel openssl openssl-devel openldap openldap-devel nss_ldap openldap-clients openldap-servers unzip subversion

 

pypi 官网： https://pypi.python.org/pypi

pip 官网： https://pypi.python.org/pypi/pip/

bs4 官网： https://pypi.python.org/pypi/beautifulsoup4/

setuptools 官网： https://pypi.python.org/pypi/setuptools/

selenium 官网：https://pypi.python.org/pypi/selenium

tornado 官网： https://pypi.python.org/pypi/tornado

tornado 官网：http://www.tornadoweb.org

tornado github： https://github.com/tornadoweb/tornado/

PyVirtualDisplay 官网： https://pypi.python.org/pypi/PyVirtualDisplay （包含 xvfb）

PyVirtualDisplay github： https://github.com/ponty/PyVirtualDisplay

firefox 老版本下载：http://ftp.mozilla.org/pub/firefox/releases/   （推荐）

 

本节主要记录简单搭建Python+Selenium测试环境的过程，具体如下：

基础环境：windows 7 64bit

1、构建python开发环境，版本为当前最新版本python2.7.5

在python官方网站选择下载最新windows安装包：python-2.7.5.amd64.msi，

注意这里选择64bit的。安装完之后，需要在系统的环境变量path中加入C:\Python27,然后可以在命令行。

 

2、SetupTools和pip工具安装

这两个工具都是属于python的第三方工具包软件，有点类似于linux下的安装包软件，不过pip比SetupTools功能更强大。

SetupTools官方解释：Download, build, install, upgrade, and uninstall Python packages -- easily!

在python的官方网站上可以找到SetupTools的下载，这里Windows只提供了32bit的下载，setuptools-0.6c11.win32-py2.7.exe，直接双击安装即可。

pip官方解释：A tool for installing and managing Python packages.

cmd进入命令行：easy_install pip 在线安装即可。

备注：此处需要注意的是，当安装SetupTools之后，就可以在python安装目录下看到Script目录，如下图所示：

这个目录生成之后，需要在系统环境变量的中加入 path：C:\Python27\Scripts，然后才可以在命令使用easy_install命令进行pip在线安装。

 

3、安装 Selenium

selenium 官方下载：https://pypi.python.org/pypi/selenium#downloads

selenium 最新版本：selenium-2.53.4.tar.gz

这里因为需要将Python和Selenium进行组合，当然Selenium也提供了基于python的实现，所以就需要把Selenium的包安装到python库中去，以便于python开发时进行调用。

在cmd进入命令行：pip install selenium　执行之后，将自动化搜寻最新的selenium版本下载并安装，如下图所示：

以上显示，则表明在线安装selenium成功！

 

4、Python + Selenium 示例

这里可以直接在python的编辑中编写如下程序，并保存hello_selenium.py

1 2 3 4 5 6 7 8

from selenium import webdriver      driver = webdriver.Firefox()   driver.get(‘https: / / blog.mimvp.com’)   assert "blog.mimvp.com 博客" .decode( 'utf-8' ) in driver.title   print driver.title      driver.close()

在python编辑器里面操作F5运行即可，看看是否成功调用Firefox浏览器。。。

以上一个基础的Python+Selenium的自动化环境已经搭建完成。

 

Selenium 多浏览器实现

构建Python+Selenium2自动化测试环境完成之后，就需要测试支持python的selenium的版本是否都支持在不同浏览器上运行，当前我们分别在三个最通用的浏览器上（IE，Chrome，FireFox）通过脚本来测试。

1） IE 浏览器

在IE浏览器上运行测试脚本，首先需要下载IEDriverServer.exe，放在IE浏览器的安装目录且同级目录下，脚本如下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

import os from selenium import webdriver from selenium.webdriver.common.keys import Keys   iedriver = "C:Program FilesInternet ExplorerIEDriverServer.exe"        # IE driver os.environ[ "webdriver.ie.driver" ] = iedriver   driver = webdriver.Ie(iedriver) driver.get( "https://blog.mimvp.com" ) assert "Python" in driver.title   elem = driver.find_element_by_name( "q" ) elem.send_keys( "selenium" ) elem.send_keys(Keys.RETURN) assert "mimvp.com" in driver.title   driver.close() driver.quit()

 

2）Chrome 浏览器

在Chrome浏览器上运行测试脚本，首先需要下载ChromeDriver.exe，放在Chrome浏览器的安装目录且同级目录下，脚本如下：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17

import os from selenium import webdriver from selenium.webdriver.common.keys import Keys   chromedriver = "C:Program Files (x86)GoogleChromeApplicationchromedriver.exe" os.environ[ "webdriver.chrome.driver" ] = chromedriver driver = webdriver.Chrome(chromedriver)   driver.get( "https://blog.mimvp.com" ) assert "Python" in driver.title elem = driver.find_element_by_name( "q" ) elem.send_keys( "selenium" ) elem.send_keys(Keys.RETURN) assert "mimvp.com" in driver.title   driver.close() driver.quit()

注意官网的介绍：

Chrome Driver is maintained / supported by the Chromium project iteslf.  看来如果使用 new ChromeDriver() 的话，应该要安装 Chromium 而不是 Chrome，我现在懒得折腾了，有兴趣的童鞋可以试验一下。 

 

3） Firefox 浏览器

在Firefox浏览器上运行测试脚本，具体如下：

1 2 3 4 5 6 7 8 9 10 11 12 13

from selenium import webdriver from selenium.webdriver.common.keys import Keys   driver = webdriver.Firefox() driver.get( "https://blog.mimvp.com/" ) assert "Python" in driver.title elem = driver.find_element_by_name( "q" ) elem.send_keys( "selenium" ) elem.send_keys(Keys.RETURN) assert "mimvp.com" in driver.title   driver.close() driver.quit()

 

Selenium 虚拟浏览器静默执行（不打开窗体）

使用selenium打开网页时，FireFox浏览器会在虚拟窗体中显示，不会在当前用户窗体中打开。

应用场景：

非常适合在服务器端执行；非常人性化的不打扰当前用户工作，赞！

On *nix, you can run WebDriver in a headless (virtual) display to hide the browser. This can be done with Xvfb.

I personally use Python on Linux, and the PyVirtualDisplay module to handle Xvfb for me.

Code for running headless would look like this:

#!/usr/bin/env python

from pyvirtualdisplay import Display
from selenium import webdriver

display = Display(visible=0, size=(800, 600))
display.start()

# now Firefox will run in a virtual display. 
# you will not see the browser.
browser = webdriver.Firefox()
browser.get('https://www.mimvp.com')
print browser.title
browser.quit()

display.stop()

Install dependencies on Debian/Ubuntu:

$ sudo apt-get install xvfb python-pip
$ sudo pip install pyvirtualdisplay

或 CentOS 系统上

$ yum install Xvfb python-pip      // yum install xorg-x11-server-Xvfb
$ yum --enablerepo=remi install firefox
$ pip install pyvirtualdisplay

或 AWS EC2 系统上

$ wget https://lambda-linux.io/epll-release-2015.09-1.1.ll1.noarch.rpm
$ yum -y install epll-release-2015.09-1.1.ll1.noarch.rpm
$ yum --enablerepo=epll install firefox-compat

下载firefox，解压，软链接

wget  http://download.firefox.com.cn/releases/firefox/45.0/en-US/Firefox-latest-x86_64.tar.bz2
tar jxvf Firefox-latest-x86_64.tar.bz2
mv Firefox-latest-x86_64 firefox
ln -s  /home/ec2-user/tool-server/firefox/firefox /usr/bin/firefox

参考： Announcing Firefox Browser Support for Amazon Linux

firefox 更多老版本下载：http://ftp.mozilla.org/pub/firefox/releases/  （推荐）

 

错误1：

如果报错，则更新selenium到最新版，错误信息：

Message: Can't load the profile. Profile Dir: %s If you specified a log_file in the FirefoxBinary constructor, check it for details.

 pip install -U selenium  (高版本CentOS 7、Firefox、Selenium，此方法没用)

 

错误2：

easyprocess.EasyProcessCheckInstalledError: cmd=['Xvfb', '-help']

OSError=[Errno 2] No such file or directory

Program install error! 

解决：

1	pip install xvfbwrapper

 

错误3：

selenium.common.exceptions.WebDriverException: Message: 'geckodriver' executable needs to be in PATH. 

这是因为Firefox高版本需要使用 geckodriver 来驱动，不再使用Seleniu默认自带的Firefox webdriver。

我们只需要在 github 下载 geckodriver 并将其所在的路径设为环境变量即可解决。

解决：

1	brew install geckodriver

或下载安装低版本firefox

firefox-45.0.2.tar.bz2

firefox 更多老版本下载：http://ftp.mozilla.org/pub/firefox/releases/  （推荐）

 

应用实例：

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32

import bs4 from selenium import webdriver from pyvirtualdisplay import Display     def spider_url( self , url, index, total):      print ( "%d/%d  -  url: %s" % (index, total, url))        content = ''      browser = None      table_soup = []      try :          display = Display(visible = 0 , size = ( 800 , 600 ))          display.start()            # now Firefox will run in a virtual display.          # you will not see the browser.          browser = webdriver.Firefox()       # 打开 FireFox 浏览器          browser.set_page_load_timeout( 60 )          browser.get(url)                        content = browser.find_element_by_class_name( 'table' )       # 通过标记id 获取网页的内容          content = browser.page_source                        self .kill_firefox(browser)          display.stop()                    content = bs4.BeautifulSoup(content, from_encoding = 'GB18030' )          table_soup = content.find( 'table' , { "class" : "table" }).find_all( "tr" )      except Exception as ex:          print ( "error msg: " + str (ex))          self .kill_firefox(browser)

 

还有一种静默执行的方法（供参考）：

I easily managed to hide the browser window.

Just install PhantomJS. Then, change this line:

driver = webdriver.Firefox()

to:

driver = webdriver.PhantomJS()

The rest of your code won't need to be changed and no browser will open. For debugging purposes, use driver.save_screenshot('screen.png') at different steps of your code.

 

总结

通过以上三个不同浏览器上的测试，说明selenium在python中的运用于其Java版本都是一样。

由于Firefox是默认安装路径，webdriver可以正常访问找到他，如果非系统默认安装路径，则需要跟IE和Chrome一样来设置driver路径。