pytest 特点
点击这里，边看视频讲解，边学习以下内容
基于 Python 语言的自动化测试框架 最知名的 有如下 3 款
- unittest
- pytest
- robotframework
前两款框架主要（或者说很大程度上）是 聚焦 在 白盒单元测试，而 robotframework 主要聚焦在 系统测试。
如果 你是测试人员， 要做 系统测试 的自动化， 白月黑羽更推荐我们自研的 黑羽robot， 是基于robotframework 的改良版。
pytest 可以用来做 系统测试 的自动化， 它的特点有
-
用 Python 编写测试用例，简便易用
-
可以用 文件系统目录层次 对应 手工测试用例 层次结构
-
灵活的 初始化清除 机制
-
可以灵活挑选测试用例执行
-
利用第三方插件，可以生成不错的报表
pytest 的功能非常 多， 我们这里主要介绍 常用的功能。
安装
直接执行 如下命令即可安装 pytest
pip install pytest
我们还需要产生测试报表，所以要安装一个第三方插件 pytest-html ，执行如下命令安装
pip install pytest-html
快速上手
pytest 如何知道你哪些代码是自动化的测试用例？官方文档 给出了 pytest 寻找 测试项 的 具体规则
-
如果未指定命令行参数，则从 testpath（如果已配置）或当前目录开始收集。
-
如果命令行参数， 指定了 目录、文件名 或 node id 的任何组合，则按参数来找
-
寻找过程会递归到目录中，除非它们匹配上 norecursedirs。
-
在这些目录中，搜索由其测试包名称导入的 test_*.py 或 *_test.py 文件。
从这些文件中，收集如下测试项：
test为前缀 的 函数
Test为前缀的 类 里面的 test为前缀的方法
这些规则，咋一看有点晕。 我们用例子来演示。
测试用例代码
首先，我们编写的测试用例代码文件， 必须以 test_ 开头，或者以 _test 结尾
比如，我们创建一个 文件名为 test_错误登录.py ，放在目录 autotest\cases\登录 下面。
其中 autotest 是 我们创建的 自动化项目根目录
内容如下
class Test_错误密码:
def test_C001001(self):
print('\n用例C001001')
assert 1 == 1
def test_C001002(self):
print('\n用例C001002')
assert 2 == 2
def test_C001003(self):
print('\n用例C001003')
assert 3 == 2
如果我们把测试用例存放在类中， 类名必须以 Test 为前缀的 类 ，用例对应的方法必须以 test 为前缀的方法。
pytest 中用例的检查点 直接用 Python 的 assert 断言。
assert 后面的表达式结果 为 True ，就是 检查点 通过，结果为False ，就是检查点 不通过。
我们这里先快速给大家介绍 pytest 的基本用法， 就先用简单的 表达式演示一下， 后面的教程会有实际的测试代码 和 检查点。
运行测试
执行测试非常简单，打开命令行窗口，进入自动化项目根目录（我们这里就是 autotest），执行命令程序 pytest 即可
上面的示例执行结果如下
显示找到3个测试项，2个执行通过，1个不通过。
通过的用例 是用一个绿色小点表示， 不通过的用例用一个红色的F表示
并且会在后面显示具体不通过的用例 和不通过的检查点 代码细节。
大家可以发现，用例代码中有些打印语句没有显示出内容。
因为pytest 会 截获print打印的内容。
如果我们希望 显示测试代码中print的内容，因为这些打印语句在调试代码时很有用，可以加上命令行参数 -s
如下
pytest -s
如果我们希望得到更详细的执行信息，包括每个测试类、测试函数的名字，可以加上参数 -v，这个参数可以和 -s 合并为 -sv
如下
pytest -sv
执行 pytest 时， 如果命令行没有指定目标目录 或者 文件， 它会自动搜索当前目录下所有符合条件的文件、类、函数。
所以上面，就找到了3个测试方法，对应3个用例。
我们目前 项目根目录 中 只有一个cases 目录用例存放测试用例， 将来还会有其他目录，比如：
lib目录存放库代码、cfg目录存放配置数据 等等。
为了防止 pytest 到其他目录中找测试用例项，执行测试时，我们可以在命令行加上目标目录 cases ，就是这样
pytest cases
产生报告
前面在安装pytest，我们也安装了 pytest-html 插件，这个插件就是用来产生测试报告的。
要产生报告，在命令行加上 参数 --html=report.html --self-contained-html ，如下
pytest cases --html=report.html --self-contained-html
这样就会产生名为 report.html 的测试报告文件，可以在浏览器中打开
但是这个工具有个bug，导致测试目录、文件、类名 中，如果有中文，显示为乱码
可以这样修复：
打开该插件对应的代码文件，通常在解释器目录下：site-packages\pytest_html\plugin.py
找到如下代码
class TestResult:
def __init__(self, outcome, report, logfile, config):
self.test_id = report.nodeid.encode("utf-8").decode("unicode_escape")
改为
class TestResult:
def __init__(self, outcome, report, logfile, config):
# 乐语修改方法，解决乱码问题
# self.test_id = report.nodeid.encode("utf-8").decode("unicode_escape")
self.test_id = report.nodeid
然后再次运行，就可以发现中文乱码问题已经解决了。
初始化清除
点击这里，边看视频讲解，边学习以下内容
对自动化测试框架来说，初始化清除功能 至关重要。
模块级别
模块级别 的初始化、清除 分别 在整个模块的测试用例 执行前后执行，并且 只会执行1次 。
如下定义 setup_module 和 teardown_module 全局函数
def setup_module():
print('\n *** 初始化-模块 ***')
def teardown_module():
print('\n *** 清除-模块 ***')
class Test_错误密码:
def test_C001001(self):
print('\n用例C001001')
assert 1 == 1
def test_C001002(self):
print('\n用例C001002')
assert 2 == 2
def test_C001003(self):
print('\n用例C001003')
assert 3 == 2
class Test_错误密码2:
def test_C001021(self):
print('\n用例C001021')
assert 1 == 1
def test_C001022(self):
print('\n用例C001022')
assert 2 == 2
执行命令 pytest cases -s ，运行结果如下
collected 5 items
cases\登录\test_错误登录.py
*** 初始化-模块 ***
用例C001001
.
用例C001002
.
用例C001003
F
用例C001021
.
用例C001022
.
*** 清除-模块 ***
可以发现，模块级别的初始化、清除 在 整个模块所有用例 执行前后 分别 执行1次
它主要是用来为该 模块 中 所有的测试用例做 公共的 初始化 和 清除
类级别
类级别 的初始化、清除 分别 在整个类的测试用例 执行前后执行，并且 只会执行1次
如下定义 setup_class 和 teardown_class 类方法
def setup_module():
print('\n *** 初始化-模块 ***')
def teardown_module():
print('\n *** 清除-模块 ***')
class Test_错误密码:
@classmethod
def setup_class(cls):
print('\n === 初始化-类 ===')
@classmethod
def teardown_class(cls):
print('\n === 清除 - 类 ===')
def test_C001001(self):
print('\n用例C001001')
assert 1 == 1
def test_C001002(self):
print('\n用例C001002')
assert 2 == 2
def test_C001003(self):
print('\n用例C001003')
assert 3 == 2
class Test_错误密码2:
def test_C001021(self):
print('\n用例C001021')
assert 1 == 1
def test_C001022(self):
print('\n用例C001022')
assert 2 == 2
执行命令 pytest cases -s ，运行结果如下
collected 5 items
cases\登录\test_错误登录.py
*** 初始化-模块 ***
=== 初始化-类 ===
用例C001001
.
用例C001002
.
用例C001003
F
=== 清除 - 类 ===
用例C001021
.
用例C001022
.
*** 清除-模块 ***
可以发现，类级别的初始化、清除 在 整个模块所有用例 执行前后 分别 执行1次 。
它主要是用来为该 类 中的所有测试用例做 公共的 初始化 和 清除
方法级别
方法级别 的初始化、清除 分别 在类的 每个测试方法 执行前后执行，并且 每个用例分别执行1次
如下定义 setup_method 和 teardown_method 实例方法
def setup_module():
print('\n *** 初始化-模块 ***')
def teardown_module():
print('\n *** 清除-模块 ***')
class Test_错误密码:
@classmethod
def setup_class(cls):
print('\n === 初始化-类 ===')
@classmethod
def teardown_class(cls):
print('\n === 清除 - 类 ===')
def setup_method(self):
print('\n --- 初始化-方法 ---')
def teardown_method(self):
print('\n --- 清除 -方法 ---')
def test_C001001(self):
print('\n用例C001001')
assert 1 == 1
def test_C001002(self):
print('\n用例C001002')
assert 2 == 2
def test_C001003(self):
print('\n用例C001003')
assert 3 == 2
class Test_错误密码2:
def test_C001021(self):
print('\n用例C001021')
assert 1 == 1
def test_C001022(self):
print('\n用例C001022')
assert 2 == 2
执行命令 pytest cases -s ，运行结果如下
collected 5 items
cases\登录\test_错误登录.py
*** 初始化-模块 ***
=== 初始化-类 ===
--- 初始化-方法 ---
用例C001001
.
--- 清除 -方法 ---
--- 初始化-方法 ---
用例C001002
.
--- 清除 -方法 ---
--- 初始化-方法 ---
用例C001003
F
--- 清除 -方法 ---
=== 清除 - 类 ===
用例C001021
.
用例C001022
.
*** 清除-模块 ***
可以发现，方法级别的初始化、清除 在 整个模块所有用例 执行前后 分别 执行一次
目录级别
目标级别的 初始化清除，就是针对整个目录执行的初始化、清除。
我们在需要初始化的目录下面创建 一个名为 conftest.py 的文件，里面内容如下所示
import pytest
@pytest.fixture(scope='package',autouse=True)
def st_emptyEnv():
print(f'\n#### 初始化-目录甲')
yield
print(f'\n#### 清除-目录甲')
注意：这里清除环境的代码就是 yield 之后的代码。 这是一个生成器，具体的说明参见视频讲解。
我们可以在多个目录下面放置这样的文件，定义该目录的初始化清除。
pytest 在执行测试时，会层层调用。
但是我发现了pytest一个重要的bug： 清除操作并不一定会在该目录最后一个测试用例执行完进行调用。
我已经在github上给pytest 的开发人员提交了bug report， 点击这里查看
在我看来，这个问题是非常大的。
因为，一个目录下的用例执行完后，该清除的数据没有清除，这可能会导致其他目录下的用例执行失败。
所以在这个问题解决前，白月黑羽推荐大家先不要使用这种 目录级别 的初始化清除。
挑选用例执行
点击这里，边看视频讲解，边学习以下内容
pytest 可以灵活的挑选测试用例执行
指定一个模块
可以像这样只挑选一个模块执行
pytest cases\登录\test_错误登录.py
指定目录
可以像这样只挑选一个目录执行
pytest cases
也可以指定多个目录
pytest cases1 cases2\登录
指定模块里面的函数或者类
指定一个类
pytest cases\登录\test_错误登录.py::Test_错误密码
也可以指定类里面的方法
pytest cases\登录\test_错误登录.py::Test_错误密码::test_C001001
根据名字
可以使用 命令行参数 -k 后面加名字来挑选要执行的测试项
比如像这样后面跟测试函数名字的一部分：
pytest -k C001001 -s
注意，-k 后面的名字
可以是测试函数的名字，可以是类的名字，可以是模块文件名，可以是目录的名字
是大小写敏感的
不一定要完整，只要能有部分匹配上就行
可以用 not 表示选择名字中不包含，比如
pytest -k "not C001001" -s
可以用 and 表示选择名字同时包含多个关键字，比如
pytest -k "错 and 密码2" -s
可以用 or 表示选择名字 包含指定关键字之一即可，比如
pytest -k "错 or 密码2" -s
根据标签
参考官方文档
可以这样给 某个方法加上标签 webtest
import pytest
class Test_错误密码2:
@pytest.mark.webtest
def test_C001021(self):
print('\n用例C001021')
assert 1 == 1
然后，可以这样运行指定标签的用例
pytest cases -m webtest -s
也可以这样给整个类加上标签
@pytest.mark.webtest
class Test_错误密码2:
def test_C001021(self):
print('\n用例C001021')
assert 1 == 1
当然标签也支持中文
@pytest.mark.网页测试
class Test_错误密码2:
def test_C001021(self):
print('\n用例C001021')
assert 1 == 1
然后，运行命令行指定标签
pytest cases -m 网页测试 -s
可以这样同时添加多个标签
@pytest.mark.网页测试
@pytest.mark.登录测试
class Test_错误密码2:
def test_C001021(self):
print('\n用例C001021')
assert 1 == 1
可以这样定义一个全局变量 pytestmark 为 整个模块文件 设定标签
import pytest
pytestmark = pytest.mark.网页测试
如果你需要定义多个标签，可以定义一个列表
import pytest
pytestmark = [pytest.mark.网页测试, pytest.mark.登录测试]
实战案例
点击这里，边看视频讲解，边学习以下内容
下面我们以 白月SMS 系统 为被测系统，使用 pytest 进行自动化测试
请观看视频讲解，如何使用 pytest，完成用例 UI-0001 到 UI-0005 的自动化
案例视频中说明了，在自动化项目中，我们的测试用例经常需要导入项目目录的库文件，我们需要这样执行命令
python -m pytest cases -sv
才能避免Python解释器 搜索不到 库文件的问题 ModuleNotFoundError: No module named ‘xxxx’
视频教程最后的自动化代码如下
#autotest\cases\登录\test_错误登录.py
import pytest
from lib.webui import loginAndCheck
class Test_错误登录:
def test_UI_0001(self):
alertText = loginAndCheck(None,'88888888')
assert alertText == '请输入用户名'
def test_UI_0002(self):
alertText = loginAndCheck('byhy',None)
assert alertText == '请输入密码'
def test_UI_0003(self):
alertText = loginAndCheck('byh','88888888')
assert alertText == '登录失败 : 用户名或者密码错误'
# lib\webui.py
from selenium import webdriver
import time
def loginAndCheck(username,password):
driver = webdriver.Chrome()
driver.implicitly_wait(10)
driver.get('http://127.0.0.1/mgr/sign.html')
if username is not None:
driver.find_element_by_id('username').send_keys(username)
if password is not None:
driver.find_element_by_id('password').send_keys(password)
driver.find_element_by_css_selector("button[type='submit']").click()
time.sleep(2)
alertText = driver.switch_to.alert.text
print(alertText)
driver.quit()
return alertText
数据驱动
点击这里，边看视频讲解，边学习以下内容
用例 UI-0001 到 UI-0005 这5个登录的测试用例，共同的特点是，它们测试步骤是一模一样的，只是输入的数据（用户名、密码）不同，要检查的输出数据（错误提示）不同。
这批测试用例，就是典型的 可以用 数据驱动 方式进行自动化的用例。
如果有一批测试用例，具有 相同的测试步骤 ，只是 测试参数数据不同 。
自动化测试时，把测试数据从用例代码中 分离 开来，以后增加新的测试用例，只需要修改数据。
这就是数据驱动。
这种情况可以使用 pytest 用例 的 数据驱动格式，只需如下定义即可
class Test_错误登录:
@pytest.mark.parametrize('username, password, expectedalert', [
(None, '88888888', '请输入用户名'),
('byhy', None, '请输入密码'),
('byh', '88888888', '登录失败 : 用户名或者密码错误'),
('byhy', '8888888', '登录失败 : 用户名或者密码错误'),
('byhy', '888888888', '登录失败 : 用户名或者密码错误'),
]
)
def test_UI_0001_0005(self, username, password, expectedalert):
alertText = loginAndCheck(username, password)
assert alertText == expectedalert
这样，我们就不需要定义那么多的测试用例方法了， 而且测试数据也可以集中存放。
更多细节，参考pytest官方文档
调试
当我们需要调试代码时，可以添加断点，然后按照下图所示
点击打开运行配置
点击+号， 添加一个运行配置，在右边的输入框输入配置名，比如 pytest
点击箭头选择 module name，并且输入 pytest 作为运行模块名
参数输入相应的命令行参数，比如 cases -sv
工作目录选择项目根目录
点击 OK
参考资料：白月黑羽官方教程，乐语整理
wh 2021年12月29日14:52:30
扫一扫
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
