接口自动化测试框架unittest和pytest差异比较

前言

说到 Python 的单元测试框架，想必接触过 Python 的朋友脑袋里第一个想到的就是unittest。 的确，作为 Python 的标准库，它很优秀，并被广泛用于各个项目。但你知道吗？其实在 Python 众多项目中，主流的单元测试框架远不止这一个。

本系列文章将为大家介绍目前流行的 Python 的单元测试框架，讲讲它们的功能和特点并比较其异同，以让大家在面对不同场景、不同需求的时候，能够权衡利弊，选择最佳的单元测试框架。

本文默认以 Python 3 为例进行介绍，若某些特性在 Python 2 中没有或不同，会特别说明。

一、介绍

unittest 单元测试框架最早受到 JUnit 的启发，和其他语言的主流单元测试框架有着相似的风格。

它支持测试自动化，多个测试用例共享前置（setUp）和清理（tearDown）代码，聚合多个测试用例到测试集中，并将测试和报告框架独立。

二、用例编写

下面这段简单的示例来自于官方文档，用来测试三种字符串方法：upper、isupper、split：

import unittest
 
class TestStringMethods(unittest.TestCase):
 
    def test_upper(self):
        self.assertEqual('foo'.upper(), 'FOO')
 
    def test_isupper(self):
        self.assertTrue('FOO'.isupper())
        self.assertFalse('Foo'.isupper())
 
    def test_split(self):
        s = 'hello world'
        self.assertEqual(s.split(), ['hello', 'world'])
        # check that s.split fails when the separator is not a string
        with self.assertRaises(TypeError):
            s.split(2)
 
if __name__ == '__main__':
    unittest.main()

 

上述示例中，通过继承 unittest.TestCase 来创建一个测试用例。 在这个类中，定义以 test 开头的方法，测试框架将把它作为独立的测试去执行。

每个用例都采用 unittest 内置的断言方法来判断被测对象的行为是否符合预期，比如：

        在 test_upper 测试中，使用 assertEqual 检查是否是预期值

        在 test_isupper 测试中，使用 assertTrue 或 assertFalse 验证是否符合条件

        在 test_split 测试中，使用 assertRaises 验证是否抛出一个特定异常

可能有人会好奇，为什么不使用内置断言语句 assert，而要额外提供这么多断言方法并使用呢？原因是通过使用 unittest 提供的断言方法，测试框架在运行结束后，能够聚合所有的测试结果并产生信息丰富的测试报告。而直接使用 assert 虽然也可以达到验证被测对象是否符合预期的目的，但在用例出错时，报错信息不够丰富。

三、用例发现和执行
unittest 支持用例自动（递归）发现：

        默认发现当前目录下所有符合 test*.py 测试用例

        使用 python -m unittest 或 python -m unittest discover

        通过 -s 参数指定要自动发现的目录， -p 参数指定用例文件的名称模式

        python -m unittest discover -s project_directory -p "test_*.py"

        通过位置参数指定自动发现的目录和用例文件的名称模式

        python -m unittest discover project_directory "test_*.py"

unittest 支持执行指定用例：

        指定测试模块

        python -m unittest test_module1 test_module2

        指定测试类

        python -m unittest test_module.TestClass

        指定测试方法

        python -m unittest test_module.TestClass.test_method

        指定测试文件路径（仅 Python 3）

        python -m unittest tests/test_something.py

 

四、测试夹具（Fixtures）

测试夹具也就是测试前置（setUp）和清理（tearDown）方法。

测试前置方法 setUp() 用来做一些准备工作，比如建立数据库连接。它会在用例执行前被测试框架自动调用。

测试清理方法 tearDown() 用来做一些清理工作，比如断开数据库连接。它会在用例执行完成（包括失败的情况）后被测试框架自动调用。

测试前置和清理方法可以有不同的执行级别。

1 生效级别：测试方法
如果我们希望每个测试方法之前前后分别执行测试前置和清理方法，那么需要在测试类中定义好 setUp() 和 tearDown()：

class MyTestCase(unittest.TestCase):
    def setUp(self):
        pass
 
    def tearDown(self):
        pass

2 生效级别：测试类

如果我们希望单个测试类中只执行一次前置方法，再执行该测试类中的所有测试，最后执行一次清理方法，那么需要在测试类中定义好 setUpClass() 和 tearDownClass()：

class MyTestCase(unittest.TestCase):
    def setUpClass(self):
        pass
 
    def tearDownClass(self):
        pass

 

3 生效级别：测试模块

如果我们希望单个测试模块中只执行一次前置方法，再执行该模块中所有测试类的所有测试，最后执行一次清理方法，那么需要在测试模块中定义好 setUpModule() 和 tearDownModule()：

def setUpModule():
    pass
 
def tearDownModule():
    pass

五、跳过测试和预计失败
unittest 支持直接跳过或按条件跳过测试，也支持预计测试失败：

        通过 skip 装饰器或 SkipTest 直接跳过测试

        通过 skipIf 或 skipUnless 按条件跳过或不跳过测试

        通过 expectedFailure 预计测试失败
 

class MyTestCase(unittest.TestCase):
 
    @unittest.skip("直接跳过")
    def test_nothing(self):
        self.fail("shouldn't happen")
 
    @unittest.skipIf(mylib.__version__ < (1, 3),
                     "满足条件跳过")
    def test_format(self):
        # Tests that work for only a certain version of the library.
        pass
 
    @unittest.skipUnless(sys.platform.startswith("win"), "满足条件不跳过")
    def test_windows_support(self):
        # windows specific testing code
        pass
 
    def test_maybe_skipped(self):
        if not external_resource_available():
            self.skipTest("跳过")
        # test code that depends on the external resource
        pass
 
    @unittest.expectedFailure
    def test_fail(self):
        self.assertEqual(1, 0, "这个目前是失败的")

六、子测试

有时候，你可能想编写这样的测试：在一个测试方法中传入不同的参数来测试同一段逻辑，但它将被视作一个测试，但是如果使用了子测试，就能被视作 N（即为参数的个数）个测试。下面是一个示例

class NumbersTest(unittest.TestCase):
 
    def test_even(self):
        """
        Test that numbers between 0 and 5 are all even.
        """
        for i in range(0, 6):
            with self.subTest(i=i):
                self.assertEqual(i % 2, 0)

示例中使用了 with self.subTest(i=i) 的方式定义子测试，这种情况下，即使单个子测试执行失败，也不会影响后续子测试的执行。这样，我们就能看到输出中有三个子测试不通过：

======================================================================
FAIL: test_even (__main__.NumbersTest) (i=1)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "subtests.py", line 32, in test_even
    self.assertEqual(i % 2, 0)
AssertionError: 1 != 0
 
======================================================================
FAIL: test_even (__main__.NumbersTest) (i=3)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "subtests.py", line 32, in test_even
    self.assertEqual(i % 2, 0)
AssertionError: 1 != 0
 
======================================================================
FAIL: test_even (__main__.NumbersTest) (i=5)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "subtests.py", line 32, in test_even
    self.assertEqual(i % 2, 0)
AssertionError: 1 != 0

七、测试结果输出

基于简单示例小节中提到的例子，来说明下 unittest 在运行完测试后的结果输出。

默认情况下的输出非常简单，展示运行了多少个用例，以及所花费的时间：

...
----------------------------------------------------------------------
Ran 3 tests in 0.000s
 
OK

通过指定 -v 参数，可以得到详细输出，除了默认输出的内容，还额外显示了用例名称：

test_isupper (__main__.TestStringMethods) ... ok
test_split (__main__.TestStringMethods) ... ok
test_upper (__main__.TestStringMethods) ... ok
 
----------------------------------------------------------------------
Ran 3 tests in 0.001s
 
OK

假定 test_upper 测试失败，则在详细输出模式下，结果如下：

test_isupper (tests.test.TestStringMethods) ... ok
test_split (tests.test.TestStringMethods) ... ok
test_upper (tests.test.TestStringMethods) ... FAIL
 
======================================================================
FAIL: test_upper (tests.test.TestStringMethods)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/Uvsers/prodesire/projects/tests/test.py", line 6, in test_upper
    self.assertEqual('foo'.upper(), 'FOO1')
AssertionError: 'FOO' != 'FOO1'
- FOO
+ FOO1
?    +
 
 
----------------------------------------------------------------------
Ran 3 tests in 0.001s
 
FAILED (failures=1)

如果我们将 test_upper 测试方法中的 self.assertEqual 改为 assert，则测试结果输出中将会少了对排查错误很有帮助的上下文信息：

test_isupper (tests.test.TestStringMethods) ... ok
test_split (tests.test.TestStringMethods) ... ok
test_upper (tests.test.TestStringMethods) ... FAIL
 
======================================================================
FAIL: test_upper (tests.test.TestStringMethods)
----------------------------------------------------------------------
Traceback (most recent call last):
  File "/Users/prodesire/projects/tests/test.py", line 6, in test_upper
    assert 'foo'.upper() == 'FOO1'
AssertionError
 
----------------------------------------------------------------------
Ran 3 tests in 0.001s
 
FAILED (failures=1)

如果想要生成 HTML 格式的报告，那么就需要额外借助第三方库（如 HtmlTestRunner）来操作。

在安装好第三方库后，你不能直接使用 python -m unittest 加上类似 --html report.html 的方式来生成 HTML 报告，而是需要自行编写少量代码来运行测试用例进而得到 HTML 报告。 详情请查看 HtmlTestRunner 使用说明。

八、unittest和pytest的区别

1 用例编写规则

unittest提供了test cases、test suites、test fixtures、test runner相关的类,让测试更加明确、方便、可控。使用unittest编写用例,必须遵守以下规则:

（1）测试文件必须先import unittest

（2）测试类必须继承unittest.TestCase

（3）测试方法必须以“test_”开头

（4）测试类必须要有unittest.main()方法

pytest是python的第三方测试框架,是基于unittest的扩展框架,比unittest更简洁,更高效。使用pytest编写用例,必须遵守以下规则:

（1）测试文件名必须以“test_”开头或者"_test"结尾(如:test_ab.py)

（2）测试方法必须以“test_”开头。

（3）测试类命名以"Test"开头。

总结: pytest可以执行unittest风格的测试用例,无须修改unittest用例的任何代码,有较好的兼容性。 pytest插件丰富,比如flask插件,可用于用例出错重跑;还有xdist插件,可用于设备并行执行。

2 用例前置和后置

（1）unittest提供了setUp/tearDown，每个用例运行前、结束后运行一次。setUpClass和tearDownClass，用例执行前、结束后，只运行一次。

# unittset前置条件.py
import unittest
 
 
class Test(unittest.TestCase):  # 继承unittest中的TestCase
    @classmethod
    def setUpClass(cls) -> None:  # setUpClass：所有用例执行之前会执行一次，如：打开文件，链接数据库
        print('setUpClass')
 
    @classmethod
    def tearDownClass(cls) -> None:  # tearDownClass：所有用例执行之后会执行一次，如：注册后删掉数据
        print('tearDownClass')
 
    @classmethod
    def setUp(self) -> None:  # setUp：每条用例执行前都会先执行setUp，如：
        print('setUp')
 
    @classmethod
    def tearDown(self) -> None:  # tearDown：每条用例执行后都会先执行tearDown，如：
        print('tearDown')
 
    def testB(self):  # 用例执行顺序：以test后字母开头排序
        print('testB')
 
    def testA(self):
        print('testA')
 
    def testZ(self):
        print('testZ')
 
 
if __name__ == "__main__":
    # unittest.main()  # 不产生测试报告
    pass

其执行结果如下：

Ran 3 tests in 0.003s
Launching unittests with arguments python -m unittest 用例前置条件.Test in /Users/ray/PycharmProjects/day10
 
 
OK
setUpClass
tearDownClass
 
Process finished with exit code 0
setUp
testA
tearDown
setUp
testB
tearDown
setUp
testZ
tearDown

其执行结果如下：

collected 4 items                                                              
 
test_module.py setup_module：整个.py模块只执行一次
setup_function：每个用例开始前都会执行
正在执行测试模块----test_one
.teardown_function：每个用例结束后都会执行
setup_function：每个用例开始前都会执行
正在执行测试模块----test_two
Fteardown_function：每个用例结束后都会执行
setup_class：所有用例执行之前
setup：每个用例开始前都会执行
正在执行测试类----test_three
.teardown：每个用例结束后都会执行
setup：每个用例开始前都会执行
正在执行测试类----test_four
Fteardown：每个用例结束后都会执行
teardown_class：所有用例执行之后
teardown_module：整个test_module.py模块只执行一次

方法二：pytest的fixture方法

# conftest.py
# -*- coding: utf-8 -*-
import pytest
 
 
@pytest.fixture(scope="function")
def login():
    print("请先输入账号和密码，然后登陆")
 
    yield
    print("退出登陆")

# test_1.py
# -*- coding: utf-8 -*-
import pytest
 
 
def test_fix1(login):
    print("test_fix1 in test_1.py：需要登陆再执行操作")
 
 
def test_fix2():
    print("test_fix2 in test_1.py：不需要登陆再执行操作")
 
 
def test_fix3(login):
    print("test_fix3 in test_1.py：需要登陆再执行操作")
 
 
if __name__ == "__main__":
    pytest.main(['-s', 'test_1.py'])

# test_2.py
# -*- coding: utf-8 -*-
import pytest
 
 
def test_fix3():
    print("test_fix3 in test_2.py：不需要登陆再执行操作")
 
 
def test_fix4(login):
    print("test_fix4 in test_2.py：需要登陆再执行操作")
 
 
if __name__ == "__main__":
    pytest.main(['-s', 'test_2.py'])

其执行结果如下：

pytest -s test_1.py
 
collected 3 items                                                              
 
test_1.py 请先输入账号和密码，然后登陆
test_fix1 in test_1.py：需要登陆再执行操作
.退出登陆
test_fix2 in test_1.py：不需要登陆再执行操作
.请先输入账号和密码，然后登陆
test_fix3 in test_1.py：需要登陆再执行操作
.退出登陆

3 断言

（1）unittest提供了assertEqual、assertIn、assertTrue、assertFalse。

assertEqual：判断断言第一个参数和第二个参数是否相等，如果不相等则测试失败

用法： assertIn(key, container, message)

        key：在给定容器中检查其存在性的字符串

        container：在其中搜索关键字符串的字符串

        message：作为测试消息失败时显示的消息的字符串语句。

assertIn：用于单元测试中以检查字符串是否包含在其他字符串中。此函数将使用三个字符串参数作为输入，并根据断言条件返回一个布尔值。如果 key 包含在容器字符串中，它将返回true，否则返回false。

用法： assertIn(key, container, message)

参数：assertIn()接受以下三个参数的说明：

        key：在给定容器中检查其存在性的字符串

        container：在其中搜索关键字符串的字符串

        message：作为测试消息失败时显示的消息的字符串语句。

assertTrue：判断是否为真

assertFalse：判断是否为假

（1）pytest直接使用assert表达式。

assert：用于判断一个表达式，在表达式条件为 false 的时候触发异常。

4 报告

（1）unittest使用HTMLTestRunnerNew库。

（2）pytest有pytest-HTML、allure插件。

5 失败重跑

（1）unittest无此功能。

（2）pytest支持用例执行失败重跑，pytest-rerunfailures插件。

6 参数化

（1）unittest需依赖ddt库或者parameterized库。

# 单元测试.py
import unittest
import myFunction
import HTMLTestRunner
import HTMLTestRunnerNew  # 测试报告丰富版本
import parameterized  # 参数化
 
 
class TestAdd(unittest.TestCase):
    '''测试add方法'''
    
    @parameterized.parameterized.expand(  # 传参为二维数组
        [[1, 2, 3, '参数化1'],
         [-1, 2, 3, '参数化2'],
         [2, 4, 7, '参数化3']]
    )
    
    def testParamAdd(self, a, b, c, desc):
        self._testMethodDoc = desc  # 使用这个_testMethodDoc参数传递
        result = myFunction.add(a, b)
        self.assertEqual(c, result, '预期结果是%s,实际结果是%s' % (c, result))

 (2)pytest直接使用@pytest.mark.parametrize装饰器。

@allure.epic("SOS接口自动化测试")
class TestCaseRunner:
@allure.feature("过程管理/风险处理/干预任务报表(新)-查询")
@pytest.mark.parametrize("case", CaseExcuteUtils.get_case_list("soscases/progressManagement/taskreport", case_tag))
def test_task_report(self, case):
    """
    参数化执行测试用例
    :param case:
    :return:
    """
    print(case.description)
    allure.dynamic.title(case.description)
    CaseExcuteUtils.excute_case(case, data)

7 用例分类执行
（1）unittest默认执行全部测试用例，可以通过加载testsuite执行部分模块测试用例；

（2）pytest可以通过@pytest.mark来标记测试用例，执行命令加上参数“-m”即可运行标记的用例。

九、小结

unittest 作为 Python 标准库提供的单元测试框架，使用简单、功能强大，日常测试需求均能得到很好的满足。在不引入第三方库的情况下，是单元测试的不二之选。

在下篇文章中，我们将介绍第三方单元测试框架 nose 和 nose2，讲讲它对比于 unittest 有哪些改进，以至于让很多开发人员优先选择了它

最后感谢每一个认真阅读我文章的人，礼尚往来总是要有的，虽然不是什么很值钱的东西，如果你用得到的话可以直接拿走：

这些资料，对于【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴上万个测试工程师们走过最艰难的路程，希望也能帮助到你!有需要的小伙伴可以点击下方小卡片领取