pytest 是一款以python为开发语言的第三方测试,主要特点如下:
比自带的 unittest 更简洁高效,兼容 unittest框架
支持参数化
可以更精确的控制要测试的测试用例
丰富的插件,已有300多个各种各样的插件,也可自定义扩展,如pytest-selenium、pytest-html、pytest-rerunfailures、pytes-xdish
可很好的和CI工具结合
安装
pip install pytest
测试用例编写规则
测试文件以test_开头 或者 _test结尾
测试类以Test开头,并且不能带有 init 方法
测试文件以 test_开头
断言使用基本的 assert 即可
pytest会递归查找当前目录及子目录下所有 以test_开始 或者 _test结尾的python脚本,执行其中符合规则的函数和方法,不需要显示调用
运行命令:(cmd进入用例所在目录)
pytest folder_name ======》直接运行文件夹内符合规则的所有用例
pytest test_file.py ======》执行某个py文件中的用例
pytest test_file.py::test_func ======》执行模块内的某个函数(节点运行)
pytest test_file.py::TestClass::test_method ======》执行模块内测试类的某个方法(节点运行)
pytest test_file.py::TestClass ======》执行模块内某个测试类(节点运行)
pytest test_file.py::TestClass test_file2.py::test_mothod ======》多节点运行,中间用空格隔开
pytest -k pass ======》匹配用例名称的表达式,含有“pass”的被执行,其他的deselected
pytest -k "pass or fail" ======》组合匹配,含有“pass” 和 “fail”的被执行
pytest -k "not pass" ======》排除运行,不含“pass”的被执行
pytest -m finished ======》标记表达式,运行用@pytest.mark.finished 标记的用例
pytest -m "finished and not merged" ======》多个标记逻辑匹配,运行含有finished 不含 merged标记的用例
pytest -v ======》运行时显示详细信息
pytest -s ======》显示打印消息
pytest -x ======》遇到错误就停止运行
pytest -x --maxfail=2 ======》遇到两个错误就停止运行
pytest --setup-show ======》跟踪固件运行
pytest -v --reruns 5 --reruns-delay 1 ======》运行失败的用例间隔1s重新运行5次 pip install pytest-rerunfailures
pytest ======》多条断言,报错后,后面的依然执行, pip install pytest-assume,断言 pytest.assume(2==4)
pytest -n 3 ======》3个cpu并行执行测试用例,需保证测试用例可随机执行, pip install pytest-xdist分布式执行插件,多个cpu或主机执行
pytest -v -n auto ======》自动侦测系统里cpu的数目
pytest --count=2 ======》重复运行测试 pip install pytest-repeat
pytest --html=./report/report.html ======》生成报告,此报告中css是独立的,分享时会丢失样式,pip install pytest-html
pytest --html=report.html --self-containd-html ======》合并css到html报告中,除了passed所有行都被展开
pytest --durations=10 ======》获取最慢的10个用例的执行耗时
用例执行顺序控制
pytest 用例执行顺序默认是按字母顺序去执行,要控制执行顺序,需要安装插件 pytest-ordering:pip install pytest-ordering
在测试方法上加上装饰器:
@pytest.mark.last 最后一个执行
@pytest.mark.run(order=n) n=1则是第一个执行
Mark
标签的使用方法:
注册标签名 / 内置标签---> 在测试用例 / 测试类 / 模块文件 前面加上 @pytest.mark.标签名
注册方法:
1. 在conftest.py 文件中添加代码
#单个标签文件内容
defpytest_configure(config):
config.addinivalue_line("markers", "demo:demo标签名称")#多个标签文件内容
defpytest_configure(config):
marker_list= ["p0:p0级别用例", "p1:p1级别用例", "p2:p2级别用例"] #标签名称
for markers inmarker_list:
config.addinivalue_line("markers", markers)
2. 项目中添加pytest.ini配置文件
[pytest]
markers=p0:p0级别用例
p1:p1级别用例
p2:p2级别用例
使用方法:
importpytest
@pytest.mark.p0deftest_mark01():print("函数级别的mark_p0")
@pytest.mark.p1deftest_mark02():print("函数级别的mark_p1")
@pytest.mark.P2classTestDemo:deftest_mark03(self):print("mark_p2")deftest_mark04(self):print("mark_p2")
运行方式:
1. 命令行运行
pytest -m "p0 and p1"
2. 文件运行
pytest.main(["-m", "P0", "--html=report.html"])
内置标签:
参数化:@pytest.mark.parametrize(argnames, argvalues)
无条件跳过用例:@pytest.mark.skip(reason="xxx")
有条件跳过用例:@pytest.mark.skipif(version < 0.3, reason = "not supported until 0.3")
预测执行失败进行提示标记:@pytest.mark.xfail(version < 0.3, reason = "not supported until 0.3"),运行结果为X(通过xpassed,失败xfailed)
#参数化
importhashlib
@pytest.mark.parametrize("x", list(range(10)))deftest_somethins(x):
time.sleep(1)
@pytest.mark.parametrize("passwd",["123456","abcdefgfs","as52345fasdf4"])deftest_passwd_length(passwd):assert len(passwd) >= 8@pytest.mark.parametrize('user, passwd',[('jack', 'abcdefgh'),('tom', 'a123456a')])deftest_passwd_md5(user, passwd):
db={'jack': 'e8dc4081b13434b45189a720b77b6818','tom': '1702a132e769a623c1adb78353fc9503'}assert hashlib.md5(passwd.encode()).hexdigest() ==db[user]#如果觉得每组测试的默认参数显示不清晰,可以使用 pytest.param 的 id 参数进行自定义
@pytest.mark.parametrize("user, passwd",
[pytest.param("jack", "abcdefgh", id = "User"),
pytest.param("tom", "a123456a", id = "User")])deftest_passwd_md5_id(user, passwd):
db={'jack': 'e8dc4081b13434b45189a720b77b6818','tom': '1702a132e769a623c1adb78353fc9503'}assert hashlib.md5(passwd.encode()).hexdigest() == db[user]
Fixture
固件:是一些函数,pytest会在执行函数之前或者之后加载运行它们,相当于预处理和后处理。
fixture的目的是提供一个固定基线,在该基线上测试可以可靠地、重复的执行。
名称:默认为定义时的函数名,可以通过 @pytest.fixture(name="demo") 给fixture重命名
定义:在固件函数定义前加上@pytest.fixture();fixture是有返回值的,没return则返回None
使用:作为参数、使用usefixtures、自动执行(定义时指定autouse参数)def test_demo(fixture_func_name)
@pytest.mark.usefixtures("fixture_func_name1", "fixture_func_name2") 标记函数或者类
预处理和后处理:用yield关键词,yield之前的代码是预处理,之后的是后处理
作用域:通过scope参数控制作用域
function:函数级,每个测试函数都会执行一次(默认)
class:类级别,每个测试类执行一次,所有方法都共享这个fixture
module:模块级别,每个模块.py执行一次,模块中所有测试函数、类方法 或者 其他fixture 都共享这个fixture
session:会话级别,每次会话只执行一次,一次会话中所有的函数、方法都共享这个fixture
集中管理:使用文件conftest.py 集中管理,在不同层级定义,作用于在其所在的目录和子目录,pytest会自动调用
scope、yield、auto的使用
#scope、yield、auto使用
@pytest.fixture(scope = "function", autouse=True)deffunction_scope():pass@pytest.fixture(scope= "module", autouse=True)defmodule_scope():pass@pytest.fixture(scope= "session")defsession_scope():pass@pytest.fixture(scope= "class", autouse=True)defclass_scope():pass
importtime
DATE_FORMAT= '%Y-%m-%d %H:%M:%S'@pytest.fixture(scope='session', autouse=True)deftimer_session_scope():
start=time.time()print(' session start: {}'.format(time.strftime(DATE_FORMAT, time.localtime(start))))yieldfinished=time.time()print(' session finished: {}'.format(time.strftime(DATE_FORMAT, time.localtime(finished))))print('session Total time cost: {:.3f}s'.format(finished -start))deftest_1():
time.sleep(1)deftest_2():
time.sleep(2)'''
执行命令:pytest --setup-show -s固件执行结果:
test_pytest_study.py
session start: 2020-04-16 17:29:02
SETUP S timer_session_scope
SETUP M module_scope
SETUP C class_scope
SETUP F function_scope
test_pytest_study.py::test_3 (fixtures used: class_scope, function_scope, module_scope, timer_session_scope).
TEARDOWN F function_scope
TEARDOWN C class_scope
SETUP C class_scope
SETUP F function_scope
test_pytest_study.py::test_4 (fixtures used: class_scope, function_scope, module_scope, timer_session_scope).
TEARDOWN F function_scope
TEARDOWN C class_scope
TEARDOWN M module_scope
session finished: 2020-04-16 17:29:05
session Total time cost: 3.087s
TEARDOWN S timer_session_scope'''
使用文件conftest.py 集中管理
#conftest.py#conding=utf-8
importpytest
@pytest.fixture()defpostcode():print("执行postcode fixture")return "010"
#test_demo.py#coding=utf-8
importpytestclassTestDemo():deftest_postcode(self, postcode):assert postcode == "010"
if __name__=="__main__":
pytest.main(["--setup-show", "-s", "test_demo.py"])
python test_demo.py
执行过程:
test_demo.py 执行postcode fixture
SETUP F postcode
test_demo.py::TestDemo::test_postcode (fixtures used: postcode).
TEARDOWN F postcode
#如果整个文件都用一个fixture,可以用pytestmark标记
pytestmark = pytest.mark.usefixtures("login")
fixture参数化
固件参数化需要使用pytest内置的固件request,并通过 request.param 获取参数。
#test_demo.py
@pytest.fixture(params=[
("user1", "passwd1"),
("user2", "passwd2")
])defparam(request):returnrequest.param
@pytest.fixture(autouse=True)deflogin(param):print(" 登录成功 %s %s" %param)yield
print(" 退出成功 %s %s" %param)deftest_api():assert 1 == 1
'''pytest -s -v test_demo.py
运行结果:
test_demo.py::test_api[param0]
登录成功 user1 passwd1
PASSED
退出成功 user1 passwd1
test_demo.py::test_api[param1]
登录成功 user2 passwd2
PASSED
退出成功 user2 passwd2'''
assert
assert "h" in "hello"
assert 3==4
assert 3!=4
assert f()==4
assert 5>6
assert notxxassert {"0", "1", "2"} == {"0", "1", "2"}