Pytest自动化测试框架-测试用例执行与失败重跑

前言

用例执行状态

用例执行完成后，每条用例都有自己的状态，常见的状态有
passed：测试通过
failed：断言失败
error：用例本身写的质量不行，本身代码报错（譬如：fixture不存在，fixture里面有报错）
xfail：预期失败，加了 @pytest.mark.xfail()

error例子1：参数不存在

def pwd():

print("获取用户名")

a = "yygirl"

assert a == "yygirl123"



def test_1(pwd):

assert user == "yygirl"

为啥是error
pwd参数并不存在，所以用例执行error

error例子2：fixture有错

@pytest.fixture()

def user():

print("获取用户名")

a = "yygirl"

assert a == "yygirl123"

return a



def test_1(user):

assert user == "yygirl"

为啥是error？
fixture里面断言失败，所以fixture会报错；
因为test_1调用了错误的fixture，所以error表示用例有问题

failed例子1

@pytest.fixture()

def pwd():

print("获取密码")

a = "yygirl"

return a



def test_2(pwd):

assert pwd == "yygirl123"

为啥是failed
因为fixture返回的变量断言失败

failed例子2

@pytest.fixture()

def pwd():

print("获取密码")

a = "polo"

return a



def test_2(pwd):

raise NameError

assert pwd == "polo"

为啥是failed？
因为用例执行期间抛出了异常。

测试用例的代码有异常，包括主动抛出异常或代码有异常，都算failed；
当测试用例调用的fixture有异常，或传入的参数有异常的时候，都算error；
如果一份测试报告中，error的测试用例数量越多，说明测试用例质量越差；

xfail的例子

断言装饰器

@pytest.mark.xfail(raises=ZeroDivisionError)

def test_f():

1 / 0

为啥是xfail？
代码有异常，且和raised的异常类匹配，所以是xfail（算测试通过的一种，表示符合期望捕捉到的异常），并不算failed

如果和raised的异常类不匹配，则是failed

失败重跑插件pytest-rerunfailures

环境前提
以下先决条件才能使用pytest-rerunfailures
Python 3.5, 最高 3.8, or PyPy3
pytest 5.0或更高版本

安装插件

pip3 install pytest-rerunfailures -i http://pypi.douban.com/simple/ --trusted-host pypi.douban.com

插件重点：
命令行参数：–reruns n（重新运行次数），–reruns-delay m（等待运行秒数）
装饰器参数：reruns=n（重新运行次数），reruns_delay=m（等待运行秒数）

重新运行所有失败的用例
要重新运行所有测试失败的用例，使用 --reruns 命令行选项，并指定要运行测试的最大次数：

pytest --reruns 5 -s 

运行失败的 fixture 或 setup_class 也将重新执行

添加重新运行的延时
要在两次重试之间增加延迟时间，使用 --reruns-delay 命令行选项，指定下次测试重新开始之前等待的秒数

pytest --reruns 5 --reruns-delay 10 -s

重新运行指定的测试用例
要将单个测试用例添加flaky装饰器 @pytest.mark.flaky(reruns=5) ，并在测试失败时自动重新运行，需要指定最大重新运行的次数

例子：

import pytest



@pytest.mark.flaky(reruns=5)

def test_example():

import random

assert random.choice([True, False, False])

执行结果

collecting ... collected 1 item


11_reruns.py::test_example RERUN [100%]

11_reruns.py::test_example PASSED [100%]


========================= 1 passed, 1 rerun in 0.05s ==========================

同样的，这个也可以指定重新运行的等待时间

@pytest.mark.flaky(reruns=5, reruns_delay=2)

def test_example():

import random

assert random.choice([True, False, False])

注意：
如果指定了用例的重新运行次数，则在命令行添加 --reruns 对这些用例是不会生效的

兼容性问题
不可以和fixture装饰器一起使用： @pytest.fixture()
该插件与pytest-xdist的 --looponfail 标志不兼容
该插件与核心–pdb标志不兼容

最后感谢每一个认真阅读我文章的人，礼尚往来总是要有的，虽然不是什么很值钱的东西，如果你用得到的话可以直接拿走：【文末小卡片领取】

​

这些资料，对于【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴上万个测试工程师们走过最艰难的路程，希望也能帮助到你！