接口自动化测试框架unittest和pytest差异比较

前言

说到 Python 的单元测试框架,想必接触过 Python 的朋友脑袋里第一个想到的就是unittest。 的确,作为 Python 的标准库,它很优秀,并被广泛用于各个项目。但你知道吗?其实在 Python 众多项目中,主流的单元测试框架远不止这一个。

本系列文章将为大家介绍目前流行的 Python 的单元测试框架,讲讲它们的功能和特点并比较其异同,以让大家在面对不同场景、不同需求的时候,能够权衡利弊,选择最佳的单元测试框架。

本文默认以 Python 3 为例进行介绍,若某些特性在 Python 2 中没有或不同,会特别说明。

一、介绍

unittest 单元测试框架最早受到 JUnit 的启发,和其他语言的主流单元测试框架有着相似的风格。

它支持测试自动化,多个测试用例共享前置(setUp)和清理(tearDown)代码,聚合多个测试用例到测试集中,并将测试和报告框架独立。

二、用例编写

下面这段简单的示例来自于官方文档,用来测试三种字符串方法:upper、isupper、split:

  1. import unittest

  2. class TestStringMethods(unittest.TestCase):

  3. def test_upper(self):

  4. self.assertEqual('foo'.upper(), 'FOO')

  5. def test_isupper(self):

  6. self.assertTrue('FOO'.isupper())

  7. self.assertFalse('Foo'.isupper())

  8. def test_split(self):

  9. s = 'hello world'

  10. self.assertEqual(s.split(), ['hello', 'world'])

  11. # check that s.split fails when the separator is not a string

  12. with self.assertRaises(TypeError):

  13. s.split(2)

  14. if __name__ == '__main__':

  15. unittest.main()

上述示例中,通过继承 unittest.TestCase 来创建一个测试用例。 在这个类中,定义以 test 开头的方法,测试框架将把它作为独立的测试去执行。

每个用例都采用 unittest 内置的断言方法来判断被测对象的行为是否符合预期,比如:

        在 test_upper 测试中,使用 assertEqual 检查是否是预期值

        在 test_isupper 测试中,使用 assertTrue 或 assertFalse 验证是否符合条件

        在 test_split 测试中,使用 assertRaises 验证是否抛出一个特定异常

可能有人会好奇,为什么不使用内置断言语句 assert,而要额外提供这么多断言方法并使用呢?原因是通过使用 unittest 提供的断言方法,测试框架在运行结束后,能够聚合所有的测试结果并产生信息丰富的测试报告。而直接使用 assert 虽然也可以达到验证被测对象是否符合预期的目的,但在用例出错时,报错信息不够丰富。

三、用例发现和执行
unittest 支持用例自动(递归)发现:

        默认发现当前目录下所有符合 test*.py 测试用例

        使用 python -m unittest 或 python -m unittest discover

        通过 -s 参数指定要自动发现的目录, -p 参数指定用例文件的名称模式

        python -m unittest discover -s project_directory -p "test_*.py"

        通过位置参数指定自动发现的目录和用例文件的名称模式

        python -m unittest discover project_directory "test_*.py"

unittest 支持执行指定用例:

        指定测试模块

        python -m unittest test_module1 test_module2

        指定测试类

        python -m unittest test_module.TestClass

        指定测试方法

        python -m unittest test_module.TestClass.test_method

        指定测试文件路径(仅 Python 3)

        python -m unittest tests/test_something.py

四、测试夹具(Fixtures)

测试夹具也就是测试前置(setUp)和清理(tearDown)方法。

测试前置方法 setUp() 用来做一些准备工作,比如建立数据库连接。它会在用例执行前被测试框架自动调用。

测试清理方法 tearDown() 用来做一些清理工作,比如断开数据库连接。它会在用例执行完成(包括失败的情况)后被测试框架自动调用。

测试前置和清理方法可以有不同的执行级别。

1 生效级别:测试方法
如果我们希望每个测试方法之前前后分别执行测试前置和清理方法,那么需要在测试类中定义好 setUp() 和 tearDown():

  1. class MyTestCase(unittest.TestCase):

  2. def setUp(self):

  3. pass

  4. def tearDown(self):

  5. pass

2 生效级别:测试类

如果我们希望单个测试类中只执行一次前置方法,再执行该测试类中的所有测试,最后执行一次清理方法,那么需要在测试类中定义好 setUpClass() 和 tearDownClass()

  1. class MyTestCase(unittest.TestCase):

  2. def setUpClass(self):

  3. pass

  4. def tearDownClass(self):

  5. pass

3 生效级别:测试模块

如果我们希望单个测试模块中只执行一次前置方法,再执行该模块中所有测试类的所有测试,最后执行一次清理方法,那么需要在测试模块中定义好 setUpModule() 和 tearDownModule()

  1. def setUpModule():

  2. pass

  3. def tearDownModule():

  4. pass

五、跳过测试和预计失败
unittest 支持直接跳过或按条件跳过测试,也支持预计测试失败:

        通过 skip 装饰器或 SkipTest 直接跳过测试

        通过 skipIf 或 skipUnless 按条件跳过或不跳过测试

        通过 expectedFailure 预计测试失败
 

  1. class MyTestCase(unittest.TestCase):

  2. @unittest.skip("直接跳过")

  3. def test_nothing(self):

  4. self.fail("shouldn't happen")

  5. @unittest.skipIf(mylib.__version__ < (1, 3),

  6. "满足条件跳过")

  7. def test_format(self):

  8. # Tests that work for only a certain version of the library.

  9. pass

  10. @unittest.skipUnless(sys.platform.startswith("win"), "满足条件不跳过")

  11. def test_windows_support(self):

  12. # windows specific testing code

  13. pass

  14. def test_maybe_skipped(self):

  15. if not external_resource_available():

  16. self.skipTest("跳过")

  17. # test code that depends on the external resource

  18. pass

  19. @unittest.expectedFailure

  20. def test_fail(self):

  21. self.assertEqual(1, 0, "这个目前是失败的")

六、子测试

有时候,你可能想编写这样的测试:在一个测试方法中传入不同的参数来测试同一段逻辑,但它将被视作一个测试,但是如果使用了子测试,就能被视作 N(即为参数的个数)个测试。下面是一个示例

  1. class NumbersTest(unittest.TestCase):

  2. def test_even(self):

  3. """

  4. Test that numbers between 0 and 5 are all even.

  5. """

  6. for i in range(0, 6):

  7. with self.subTest(i=i):

  8. self.assertEqual(i % 2, 0)

示例中使用了 with self.subTest(i=i) 的方式定义子测试,这种情况下,即使单个子测试执行失败,也不会影响后续子测试的执行。这样,我们就能看到输出中有三个子测试不通过:

  1. ======================================================================

  2. FAIL: test_even (__main__.NumbersTest) (i=1)

  3. ----------------------------------------------------------------------

  4. Traceback (most recent call last):

  5. File "subtests.py", line 32, in test_even

  6. self.assertEqual(i % 2, 0)

  7. AssertionError: 1 != 0

  8. ======================================================================

  9. FAIL: test_even (__main__.NumbersTest) (i=3)

  10. ----------------------------------------------------------------------

  11. Traceback (most recent call last):

  12. File "subtests.py", line 32, in test_even

  13. self.assertEqual(i % 2, 0)

  14. AssertionError: 1 != 0

  15. ======================================================================

  16. FAIL: test_even (__main__.NumbersTest) (i=5)

  17. ----------------------------------------------------------------------

  18. Traceback (most recent call last):

  19. File "subtests.py", line 32, in test_even

  20. self.assertEqual(i % 2, 0)

  21. AssertionError: 1 != 0

七、测试结果输出

基于简单示例小节中提到的例子,来说明下 unittest 在运行完测试后的结果输出。

默认情况下的输出非常简单,展示运行了多少个用例,以及所花费的时间:

  1. ...

  2. ----------------------------------------------------------------------

  3. Ran 3 tests in 0.000s

  4. OK

通过指定 -v 参数,可以得到详细输出,除了默认输出的内容,还额外显示了用例名称:

  1. test_isupper (__main__.TestStringMethods) ... ok

  2. test_split (__main__.TestStringMethods) ... ok

  3. test_upper (__main__.TestStringMethods) ... ok

  4. ----------------------------------------------------------------------

  5. Ran 3 tests in 0.001s

  6. OK

假定 test_upper 测试失败,则在详细输出模式下,结果如下:

  1. test_isupper (tests.test.TestStringMethods) ... ok

  2. test_split (tests.test.TestStringMethods) ... ok

  3. test_upper (tests.test.TestStringMethods) ... FAIL

  4. ======================================================================

  5. FAIL: test_upper (tests.test.TestStringMethods)

  6. ----------------------------------------------------------------------

  7. Traceback (most recent call last):

  8. File "/Uvsers/prodesire/projects/tests/test.py", line 6, in test_upper

  9. self.assertEqual('foo'.upper(), 'FOO1')

  10. AssertionError: 'FOO' != 'FOO1'

  11. - FOO

  12. + FOO1

  13. ? +

  14. ----------------------------------------------------------------------

  15. Ran 3 tests in 0.001s

  16. FAILED (failures=1)

如果我们将 test_upper 测试方法中的 self.assertEqual 改为 assert,则测试结果输出中将会少了对排查错误很有帮助的上下文信息:

  1. test_isupper (tests.test.TestStringMethods) ... ok

  2. test_split (tests.test.TestStringMethods) ... ok

  3. test_upper (tests.test.TestStringMethods) ... FAIL

  4. ======================================================================

  5. FAIL: test_upper (tests.test.TestStringMethods)

  6. ----------------------------------------------------------------------

  7. Traceback (most recent call last):

  8. File "/Users/prodesire/projects/tests/test.py", line 6, in test_upper

  9. assert 'foo'.upper() == 'FOO1'

  10. AssertionError

  11. ----------------------------------------------------------------------

  12. Ran 3 tests in 0.001s

  13. FAILED (failures=1)

如果想要生成 HTML 格式的报告,那么就需要额外借助第三方库(如 HtmlTestRunner)来操作。

在安装好第三方库后,你不能直接使用 python -m unittest 加上类似 --html report.html 的方式来生成 HTML 报告,而是需要自行编写少量代码来运行测试用例进而得到 HTML 报告。 详情请查看 HtmlTestRunner 使用说明。

八、unittest和pytest的区别

1 用例编写规则

unittest提供了test cases、test suites、test fixtures、test runner相关的类,让测试更加明确、方便、可控。使用unittest编写用例,必须遵守以下规则:

(1)测试文件必须先import unittest

(2)测试类必须继承unittest.TestCase

(3)测试方法必须以“test_”开头

(4)测试类必须要有unittest.main()方法

pytest是python的第三方测试框架,是基于unittest的扩展框架,比unittest更简洁,更高效。使用pytest编写用例,必须遵守以下规则:

(1)测试文件名必须以“test_”开头或者"_test"结尾(如:test_ab.py)

(2)测试方法必须以“test_”开头。

(3)测试类命名以"Test"开头。

总结: pytest可以执行unittest风格的测试用例,无须修改unittest用例的任何代码,有较好的兼容性。 pytest插件丰富,比如flask插件,可用于用例出错重跑;还有xdist插件,可用于设备并行执行。

2 用例前置和后置

(1)unittest提供了setUp/tearDown,每个用例运行前、结束后运行一次。setUpClass和tearDownClass,用例执行前、结束后,只运行一次。

  1. # unittset前置条件.py

  2. import unittest

  3. class Test(unittest.TestCase): # 继承unittest中的TestCase

  4. @classmethod

  5. def setUpClass(cls) -> None: # setUpClass:所有用例执行之前会执行一次,如:打开文件,链接数据库

  6. print('setUpClass')

  7. @classmethod

  8. def tearDownClass(cls) -> None: # tearDownClass:所有用例执行之后会执行一次,如:注册后删掉数据

  9. print('tearDownClass')

  10. @classmethod

  11. def setUp(self) -> None: # setUp:每条用例执行前都会先执行setUp,如:

  12. print('setUp')

  13. @classmethod

  14. def tearDown(self) -> None: # tearDown:每条用例执行后都会先执行tearDown,如:

  15. print('tearDown')

  16. def testB(self): # 用例执行顺序:以test后字母开头排序

  17. print('testB')

  18. def testA(self):

  19. print('testA')

  20. def testZ(self):

  21. print('testZ')

  22. if __name__ == "__main__":

  23. # unittest.main() # 不产生测试报告

  24. pass

其执行结果如下:

  1. Ran 3 tests in 0.003s

  2. Launching unittests with arguments python -m unittest 用例前置条件.Test in /Users/ray/PycharmProjects/day10

  3. OK

  4. setUpClass

  5. tearDownClass

  6. Process finished with exit code 0

  7. setUp

  8. testA

  9. tearDown

  10. setUp

  11. testB

  12. tearDown

  13. setUp

  14. testZ

  15. tearDown

其执行结果如下:

  1. collected 4 items

  2. test_module.py setup_module:整个.py模块只执行一次

  3. setup_function:每个用例开始前都会执行

  4. 正在执行测试模块----test_one

  5. .teardown_function:每个用例结束后都会执行

  6. setup_function:每个用例开始前都会执行

  7. 正在执行测试模块----test_two

  8. Fteardown_function:每个用例结束后都会执行

  9. setup_class:所有用例执行之前

  10. setup:每个用例开始前都会执行

  11. 正在执行测试类----test_three

  12. .teardown:每个用例结束后都会执行

  13. setup:每个用例开始前都会执行

  14. 正在执行测试类----test_four

  15. Fteardown:每个用例结束后都会执行

  16. teardown_class:所有用例执行之后

  17. teardown_module:整个test_module.py模块只执行一次

方法二:pytest的fixture方法

  1. # conftest.py

  2. # -*- coding: utf-8 -*-

  3. import pytest

  4. @pytest.fixture(scope="function")

  5. def login():

  6. print("请先输入账号和密码,然后登陆")

  7. yield

  8. print("退出登陆")

  9. # test_1.py

  10. # -*- coding: utf-8 -*-

  11. import pytest

  12. def test_fix1(login):

  13. print("test_fix1 in test_1.py:需要登陆再执行操作")

  14. def test_fix2():

  15. print("test_fix2 in test_1.py:不需要登陆再执行操作")

  16. def test_fix3(login):

  17. print("test_fix3 in test_1.py:需要登陆再执行操作")

  18. if __name__ == "__main__":

  19. pytest.main(['-s', 'test_1.py'])

  1. # test_2.py

  2. # -*- coding: utf-8 -*-

  3. import pytest

  4. def test_fix3():

  5. print("test_fix3 in test_2.py:不需要登陆再执行操作")

  6. def test_fix4(login):

  7. print("test_fix4 in test_2.py:需要登陆再执行操作")

  8. if __name__ == "__main__":

  9. pytest.main(['-s', 'test_2.py'])

其执行结果如下:

  1. pytest -s test_1.py

  2. collected 3 items

  3. test_1.py 请先输入账号和密码,然后登陆

  4. test_fix1 in test_1.py:需要登陆再执行操作

  5. .退出登陆

  6. test_fix2 in test_1.py:不需要登陆再执行操作

  7. .请先输入账号和密码,然后登陆

  8. test_fix3 in test_1.py:需要登陆再执行操作

  9. .退出登陆

3 断言

(1)unittest提供了assertEqual、assertIn、assertTrue、assertFalse。

assertEqual:判断断言第一个参数和第二个参数是否相等,如果不相等则测试失败

用法: assertIn(key, container, message)

        key:在给定容器中检查其存在性的字符串

        container:在其中搜索关键字符串的字符串

        message:作为测试消息失败时显示的消息的字符串语句。

assertIn:用于单元测试中以检查字符串是否包含在其他字符串中。此函数将使用三个字符串参数作为输入,并根据断言条件返回一个布尔值。如果 key 包含在容器字符串中,它将返回true,否则返回false。

用法: assertIn(key, container, message)

参数:assertIn()接受以下三个参数的说明:

        key:在给定容器中检查其存在性的字符串

        container:在其中搜索关键字符串的字符串

        message:作为测试消息失败时显示的消息的字符串语句。

assertTrue:判断是否为真

assertFalse:判断是否为假

(1)pytest直接使用assert表达式。

assert:用于判断一个表达式,在表达式条件为 false 的时候触发异常。

4 报告

(1)unittest使用HTMLTestRunnerNew库。

(2)pytest有pytest-HTML、allure插件。

5 失败重跑

(1)unittest无此功能。

(2)pytest支持用例执行失败重跑,pytest-rerunfailures插件。

6 参数化

(1)unittest需依赖ddt库或者parameterized库。

  1. # 单元测试.py

  2. import unittest

  3. import myFunction

  4. import HTMLTestRunner

  5. import HTMLTestRunnerNew # 测试报告丰富版本

  6. import parameterized # 参数化

  7. class TestAdd(unittest.TestCase):

  8. '''测试add方法'''

  9. @parameterized.parameterized.expand( # 传参为二维数组

  10. [[1, 2, 3, '参数化1'],

  11. [-1, 2, 3, '参数化2'],

  12. [2, 4, 7, '参数化3']]

  13. )

  14. def testParamAdd(self, a, b, c, desc):

  15. self._testMethodDoc = desc # 使用这个_testMethodDoc参数传递

  16. result = myFunction.add(a, b)

  17. self.assertEqual(c, result, '预期结果是%s,实际结果是%s' % (c, result))

 (2)pytest直接使用@pytest.mark.parametrize装饰器。

  1. @allure.epic("SOS接口自动化测试")

  2. class TestCaseRunner:

  3. @allure.feature("过程管理/风险处理/干预任务报表(新)-查询")

  4. @pytest.mark.parametrize("case", CaseExcuteUtils.get_case_list("soscases/progressManagement/taskreport", case_tag))

  5. def test_task_report(self, case):

  6. """

  7. 参数化执行测试用例

  8. :param case:

  9. :return:

  10. """

  11. print(case.description)

  12. allure.dynamic.title(case.description)

  13. CaseExcuteUtils.excute_case(case, data)

7 用例分类执行
(1)unittest默认执行全部测试用例,可以通过加载testsuite执行部分模块测试用例;

(2)pytest可以通过@pytest.mark来标记测试用例,执行命令加上参数“-m”即可运行标记的用例。

九、小结

unittest 作为 Python 标准库提供的单元测试框架,使用简单、功能强大,日常测试需求均能得到很好的满足。在不引入第三方库的情况下,是单元测试的不二之选。

总结:

感谢每一个认真阅读我文章的人!!!

作为一位过来人也是希望大家少走一些弯路,如果你不想再体验一次学习时找不到资料,没人解答问题,坚持几天便放弃的感受的话,在这里我给大家分享一些自动化测试的学习资源,希望能给你前进的路上带来帮助。

软件测试面试文档

我们学习必然是为了找到高薪的工作,下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料,并且有字节大佬给出了权威的解答,刷完这一套面试资料相信大家都能找到满意的工作。

 

          视频文档获取方式:
这份文档和视频资料,对于想从事【软件测试】的朋友来说应该是最全面最完整的备战仓库,这个仓库也陪伴我走过了最艰难的路程,希望也能帮助到你!以上均可以分享,点下方小卡片即可自行领取。

  • 14
    点赞
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
接口自动化测试框架是一种用于管理和执行接口测试用例的工具。Python语言结合pytest和requests库可以很方便地实现接口自动化测试框架。 首先,你需要安装pytest和requests库。可以使用以下命令安装它们: ``` pip install pytest pip install requests ``` 接下来,创建一个测试用例文件,例如`test_api.py`,并导入所需的库: ```python import pytest import requests ``` 然后,编写测试用例函数。使用pytest的装饰器`@pytest.mark.parametrize`可以方便地实现参数化测试。 ```python @pytest.mark.parametrize("url, expected_status_code", [ ("https://api.example.com/users", 200), ("https://api.example.com/posts", 200), ("https://api.example.com/comments", 200), ]) def test_api(url, expected_status_code): response = requests.get(url) assert response.status_code == expected_status_code ``` 在上面的示例中,我们定义了三个测试用例函数,每个测试用例函数都会发送一个GET请求并断言响应的状态码是否与期望的状态码一致。 最后,使用pytest命令来运行测试用例: ``` pytest test_api.py ``` pytest会自动发现并执行所有以`test_`开头的函数作为测试用例。 通过以上步骤,你就可以使用Python+pytest+requests构建一个简单的接口自动化测试框架,并使用unittest风格的方式管理测试用例。当然,你还可以根据实际需求添加更多的功能,例如报告生成、测试数据管理等。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值