pytest测试框架flaky插件重试失败用例

Pytest提供了丰富的插件来扩展其功能，本章介绍下插件flaky ，用于在测试用例失败时自动重新运行这些测试用例。与前面文章介绍的插件pytest-rerunfailures功能有些类似，但是功能上不如pytest-rerunfailures插件丰富。

flaky官方并没有明确python和pytest版本限制。

flaky安装

使用pip命令安装: pip install flaky (安装在pytest工程所运行的python环境，python的安装目录或者虚拟环境目录，可以参考之前文章查看运行环境pycharm配置pytest运行环境)

通过pycharm安装：打开设置，按照如下图中安装插件（windows系统）

flaky运行

使用前先导入flaky

from flaky import flaky

然后使用 @flaky装饰测试用例或者测试类，在用例执行命令中无需增加额外参数。

@flaky装饰时支持3个参数，代码如下

3个参数：max_runs 和 min_passes和rerun_filter

• max_runs：测试的最大运行次数，包括初始运行和任何重新运行。默认值为2,并且要大于min_passes，否则报错。

• min_passes：默认值为1。表示需要指定次数来明确需要连续成功运行多少次才能被视为成功

• rerun_filter：表示指定一个过滤函数，当函数返回值为布尔值False时，会让预期失败的测试立即失败，而不是在失败后重新运行；当函数布尔值为True时，失败用例会重新执行。

举例：如果传值 max_runs=3， min_passes=2，如果失败用例运行了 3次但min_passes不到2 次，即视为执行失败。

在测试用例上标记@flaky

举例：设置用例1断言失败，并带上参数max_runs=3,min_passes=2

@flaky(max_runs=3,min_passes=2)
def test_1():
    assert 1 != 1
    print('\n用例test_1执行成功')
    time.sleep(1)

该用例执行后预期结果还是失败，因为会一直断言失败

执行参数类似如下：pytest.exe -v --html=report/report.html test_case.py

运行结果显示需要成功2次，却一次也没有成功，用例还是失败状态

html测试报告如下： 并没有显示重试次数，应该是不能跟pytest-html一起配合使用

我们将上述用例改造下：

num = 0
@flaky(max_runs=3,min_passes=2)
def test_1():
 		global num
    for i in range(1,4):
        num += 1
        assert num >= 2
    print('\n用例test_1执行成功')

然后再重新执行测试用例，此时预期重试以后执行成功

测试报告显示用例1已经执行成功

举例：设置用例1断言失败，用例2预期报ZeroDivisionError，带上参数rerun_filter

num = 0
@flaky(max_runs=3,min_passes=2)
def test_1():
 		global num
    for i in range(1,4):
        num += 1
        assert num >= 2
    print('\n用例test_1执行成功')

def is_callable(err, name, test, plugin):
		return False

@flaky(max_runs=3,rerun_filter=is_callable)
def test_2():
		value = 1/0
		print('\n用例test_1执行成功')
		time.sleep(1)

预期结果是用例1会被重新执行，而用例2因为is_callable函数返回False不会被重新执行

实际执行结果如下：用例2打印test_2 failed and was not selected for rerun.并没有被执行

pytest.exe -v --html=report/report.html test_case.py

在测试类上标记@flaky

除了将单个测试标记外，还可以标记测试类，这样测试类中的多个函数都可以失败时重试。

举例：设置用例2和用例3断言失败，在测试类中标记@flaky，不带参数

预期结果是用例2和3会被重新执行默认的2次。

实际执行结果如下：显示用例2和用例2被重新执行2次。

pytest.exe -v --html=report/report.html test_case.py

在类上标记@flaky，并不会覆盖测试用例标记@flaky的配置参数值。

举例：如果此时在上面的测试用例3中也标记@flaky，并且定义要重试3次。

结果如下：用例2还是默认执行2次，而用例3执行了3次。

使用-p no:flaky禁用flaky插件功能

举例：在上面的配置了@flaky的前提下，执行参数增加-p no:flaky

pytest.exe -v -p no:flaky --html=report/report.html test_case.py

执行后，失败用例并没有重试。

通过--force-flaky强制执行失败用例

执行命令中增加--force-flaky参数表示强制执行失败用例，并配合传递--max-runs=MAX_RUNS和--min-passes=MIN_PASSES中的1个或者2个参数来控制flaky 的行为。并且不会影响在单个测试用例上配置的flaky装饰器。

举例：只在用例3标记重试3次

添加执行参数 --force-flaky --max-runs=1

pytest.exe -v --force-flaky --max-runs=1 --html=report/report.html test_case.py

预期结果是用例2执行失败后被强制重试1次，而用例3因为自己有设置标记还是被重新执行3次

实际结果如下：与预期保持一致

执行命令增加--no-flaky-report

增加参数--no-flaky-report，当用例运行结束时不会打印失败被重新执行的一些详细的报告内容

举例：将用例稍加改造，用例执行时会写入txt文件。

执行参数：

pytest.exe -v --force-flaky --max-runs=1 --no-flaky-report test_case.py

执行结果如下：不再打印失败重试的信息

此时我们去D盘生成的txt中检查如下：实际上已经执行了用例失败后重试

执行命令增加--no-success-flaky-report来隐藏有关重试成功的结果信息

举例 测试用例1执行3次会成功，测试用例2执行3次还是会失败。

执行命令：

pytest.exe -v --no-success-flaky-report test_case.py

执行结果如下：用例1执行成功的信息没有打印

作为对比 ，去掉参数后--no-success-flaky-report

执行命令：pytest.exe -v test_case.py

执行结果如下：打印了用例1执行成功的信息

共勉： 东汉·班固《汉书·枚乘传》：“泰山之管穿石，单极之绠断干。水非石之钻，索非木之锯，渐靡使之然也。”

-----指水滴不断地滴，可以滴穿石头；

-----比喻坚持不懈，集细微的力量也能成就难能的功劳。

----感谢读者的阅读和学习，谢谢大家。

---祝愿大家都能够龙腾虎跃，步步高升！！！