手动标记用例状态_allure标记用例级别severity

前言

我们在做功能测试的时候，执行完一轮测试用例，输出测试报告的时候，会有统计缺陷的数量和等级。

在做自动化测试的过程中，当你的测试用例越来越多的时候，如果执行一轮测试发现了几个测试不通过，我们也希望能快速统计出缺陷的等级。

pytest结合allure框架可以对用例的等级做详细的划分。

用例等级

allure对用例的等级划分成五个等级

blocker　 阻塞缺陷(功能未实现，无法下一步)

critical　　严重缺陷(功能点缺失)

normal　　 一般缺陷(边界情况，格式错误)

minor　 次要缺陷(界面错误与ui需求不符)

trivial　　 轻微缺陷(必须项无提示，或者提示不规范)

比如我的用例有以下4条

那么对应的用例的等级应该是

修改个人信息-sex参数为空 这个属于边界值情况的测试，应该是normal级别

修改个人信息-sex参数传F和M两种类型，成功(枚举类型) 这个是针对接口的功能点详细测试 critical级别

修改个人信息-修改不是本人的用户信息，无权限操作 这个是针对接口的功能点详细测试 critical级别

修改个人信息-修改自己的个人信息，修改成功 这是用例是测试主流程 blocker级别

pytest用例

根据测试用例的重要性划分测试用例等级，如果没指定等级，默认为normal级别

import pytest

import allure

'''

作者：上海-悠悠 qq交流群：874033608

@allure.severity装饰器按严重性级别来标记case

执行指定测试用例 --allure-severities blocker

BLOCKER = 'blocker'　　阻塞缺陷

CRITICAL = 'critical'　严重缺陷

NORMAL = 'normal'　　 一般缺陷

MINOR = 'minor'　　 次要缺陷

TRIVIAL = 'trivial'　　轻微缺陷

'''

@allure.severity("normal")

def test_case_1():

'''修改个人信息-sex参数为空'''

print("test case 11111111")

@allure.severity("critical")

def test_case_2():

'''修改个人信息-sex参数传F和M两种类型，成功(枚举类型)'''

print("test case 222222222")

@allure.severity("critical")

def test_case_3():

'''修改个人信息-修改不是本人的用户信息，无权限操作'''

print("test case 333333333")

@allure.severity("blocker")

def test_case_4():

'''修改个人信息-修改自己的个人信息，修改成功'''

print("test case 4444444")

def test_case_5():

'''没标记severity的用例默认为normal'''

print("test case 5555555555")

cd到用例的目录，执行用例，查看报告

pytest --alluredir ./report/allure

allure serve ./report/allure

查看报告详情

统计缺陷

如果执行用例的过程中有测试用例不通过的情况，也可以统计缺陷的严重等级

# 修改上面2个用例，故意让用例失败

@allure.severity("blocker")

def test_case_4():

'''修改个人信息-修改自己的个人信息，修改成功'''

print("test case 4444444")

assert 1==2

def test_case_5():

'''没标记severity的用例默认为normal'''

print("test case 5555555555")

assert 1==2

重新执行用例，查看报告-图表

allure命令行参数allure-severities

pytest -h可以查看到allure相关的几个命令行参数

--allure-severities=SEVERITIES_SET

Comma-separated list of severity names. Tests only

with these severities will be run. Possible values

are: blocker, critical, normal, minor, trivial.

如果有很多测试用例，现在只想做个快速的回归测试，只测试用例级别为blocker和critical级别的测试用例

pytest --alluredir ./report/allure --allure-severities blocker,critical

也可以这样写

pytest --alluredir=./report/allure --allure-severities=blocker,critical

如果只执行blocker级别的用例

pytest --alluredir=./report/allure --allure-severities=blocker