pytest学习和使用-pytest如何进行分布式测试？（pytest-xdist）

1 什么是分布式测试？

• 在进行本文之前，先了解些基础知识，什么是分布式测试？

• 分布式测试：是指通过局域网和Internet，把分布于不同地点、独立完成特定功能的测试计算机连接起来，以达到测试资源共享、分散操作、集中管理、协同工作、负载均衡、测试过程监控等目的的计算机网络测试。

• 通俗的讲：分布式测试 就是活太多，一个人干费时间，那就让多个人一起干，节省了资源和时间。

2 为什么要进行分布式测试？

2.1 场景1：自动化测试场景

• 自动化测试时，我们有很多用例，比如2000条用例，按照顺序执行，每条用例执行1分钟，那需要2000分钟；

• 什么概念？2000分钟就30多个小时，如果是冒烟测试，估计还没人工跑的快；

• 还有，如果是线上发布，跑完2000条用例就太浪费时间了；

• 那如果我们让我们让用例分布式执行，是不是可以节省很多时间？

2.2 场景2：性能测试场景

• 如果数据量很大，我们使用1台压测机，可能并发压力过大；

• 那就需要选择使用多台压测机（比如Jmeter的 Agent/负载机）；

• 这样也是一种分布式压测或者分布式性能测试场景。

所以总结来说，其实就是为了提升效率和质量。

3 分布式测试有什么特点？

特点	说明
网格化	多节点互联互通，可资源共享
分布性	地域和计算机上，协同工作、负载均衡、可扩展性、高可用性
开放性	可移植性、可互操作性、可伸缩性、易获得性
实时性	各种信息都必须是实时的
动态性	测试过程对象和活动动态映射
处理不确定性	具有处理不确定性的能力
容错及安全性	容错能力强，可靠性高、安全性好

4 分布式测试关键技术是什么？

技术点	要求
分布式环境	获取全局状态，能够方便地监视和操纵测试过程；集中式的分布式策略。
分布式环境下的节点通信	稳定的通信环境；适合用基于消息通信的方式来实现。
测试任务调度	静态调度、动态调度和混合调度。

5 分布式执行用例的前置条件是什么？

• 用例之间是独立且没有依赖关系，完全独立运行；

• 用例执行没有顺序，随机顺序都能正常执行；

• 每个用例都能重复运行，运行结果不会影响其他用例。

6 pytest-xdist安装

• pytest-xdist让自动化测试用例分布式执行，节省测试时间，属于进程级别的并发；

• 使用以下方法安装：

pip3 install pytest-xdist

1. C:\Users\Administrator>pip3 install pytest-xdist

2. Looking in indexes: https://pypi.tuna.tsinghua.edu.cn/simple

3. Requirement already satisfied: pytest-xdist in d:\python37\lib\site-packages (1.31.0)

4. Requirement already satisfied: six in d:\python37\lib\site-packages (from pytest-xdist) (1.15.0)

5. Requirement already satisfied: execnet>=1.1in d:\python37\lib\site-packages (from pytest-xdist) (1.8.0)

6. Requirement already satisfied: pytest>=4.4.0in d:\python37\lib\site-packages (from pytest-xdist) (6.2.4)

7. Requirement already satisfied: pytest-forked in d:\python37\lib\site-packages (from pytest-xdist) (1.1.3)

8. Requirement already satisfied: apipkg>=1.4in d:\python37\lib\site-packages (from execnet>=1.1->pytest-xdist) (1.5)

9. Requirement already satisfied: toml in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (0.10.2)

10. Requirement already satisfied: attrs>=19.2.0in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (20.3.0)

11. Requirement already satisfied: colorama in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (0.4.4)

12. Requirement already satisfied: atomicwrites>=1.0in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (1.4.0)

13. Requirement already satisfied: pluggy<1.0.0a1,>=0.12in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (0.13.1)

14. Requirement already satisfied: py>=1.8.2in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (1.10.0)

15. Requirement already satisfied: importlib-metadata>=0.12in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (2.1.1)

16. Requirement already satisfied: packaging in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (20.8)

17. Requirement already satisfied: iniconfig in d:\python37\lib\site-packages (from pytest>=4.4.0->pytest-xdist) (1.1.1)

18. Requirement already satisfied: zipp>=0.5in d:\python37\lib\site-packages (from importlib-metadata>=0.12->pytest>=4.4.0->pytest-xdist) (1.2.0)

19. Requirement already satisfied: pyparsing>=2.0.2in d:\python37\lib\site-packages (from packaging->pytest>=4.4.0->pytest-xdist) (2.4.7)

7 pytest-xdist的优势

• 测试运行并行化；

• 在子进程中重复运行测试；

• 可指定不同的Python解释程序或不同的平台，并行运行测试。

8 pytest-xdist的使用

8.1 普通执行

1. import pytest

2. import time

4. class TestCase01():

5. def test_case_01(self):

6. time.sleep(1)

7. print("case01$$$$$$$$$$$$$$$$$$$$$")

9. def test_case_02(self):

10. time.sleep(1)

11. print("case02$$$$$$$$$$$$$$$$$$$$$")

13. def test_case_03(self):

14. time.sleep(1)

15. print("case03$$$$$$$$$$$$$$$$$$$$$")

17. def test_case_04(self):

18. time.sleep(1)

19. print("case04$$$$$$$$$$$$$$$$$$$$$")

21. def test_case_05(self):

22. time.sleep(1)

23. print("case05$$$$$$$$$$$$$$$$$$$$$")

25. def test_case_06(self):

26. time.sleep(1)

27. print("case06$$$$$$$$$$$$$$$$$$$$$")

29. class TestCase02():

30. def test_case_07(self):

31. time.sleep(1)

32. print("case07$$$$$$$$$$$$$$$$$$$$$")

34. def test_case_08(self):

35. time.sleep(1)

36. print("case08$$$$$$$$$$$$$$$$$$$$$")

38. def test_case_09(self):

39. time.sleep(1)

40. print("case08$$$$$$$$$$$$$$$$$$$$$")

43. if __name__ == '__main__':

44. pytest.main(["-s", "test_xdist.py"])

• 执行结果如下，使用了9.14s：

1. test_xdist.py::TestCase01::test_case_01

2. test_xdist.py::TestCase01::test_case_02

3. test_xdist.py::TestCase01::test_case_03

4. test_xdist.py::TestCase01::test_case_04

5. test_xdist.py::TestCase01::test_case_05

6. test_xdist.py::TestCase01::test_case_06

7. test_xdist.py::TestCase02::test_case_07 PASSED [ 11%]case01$$$$$$$$$$$$$$$$$$$$$

8. PASSED [ 22%]case02$$$$$$$$$$$$$$$$$$$$$

9. PASSED [ 33%]case03$$$$$$$$$$$$$$$$$$$$$

10. PASSED [ 44%]case04$$$$$$$$$$$$$$$$$$$$$

11. PASSED [ 55%]case05$$$$$$$$$$$$$$$$$$$$$

12. PASSED [ 66%]case06$$$$$$$$$$$$$$$$$$$$$

13. PASSED [ 77%]case07$$$$$$$$$$$$$$$$$$$$$

15. test_xdist.py::TestCase02::test_case_08 PASSED [ 88%]case08$$$$$$$$$$$$$$$$$$$$$

17. test_xdist.py::TestCase02::test_case_09 PASSED [100%]case08$$$$$$$$$$$$$$$$$$$$$

20. ============================== 9 passed in9.14s ==============================

8.2 上述代码分布式执行：

• 执行命令：

pytest -s -n auto test_xdist.py

• 结果如下，用时4.51s，可见分布式执行后大大缩短了测试时间：

1. (venv) F:\pytest_study\test_case\test_j>pytest -s -n auto test_xdist.py

2. ============================================ test session starts =============================================

3. platform win32 -- Python 3.7.0, pytest-6.2.4, py-1.10.0, pluggy-0.13.1

4. rootdir: F:\pytest_study, configfile: pytest.ini

5. plugins: allure-pytest-2.8.12, assume-2.4.3, cov-2.8.1, forked-1.1.3, html-2.0.1, metadata-1.8.0, ordering-0.6,

6. repeat-0.9.1, rerunfailures-10.3, xdist-1.31.0

7. gw0 [9] / gw1 [9] / gw2 [9] / gw3 [9] / gw4 [9] / gw5 [9] / gw6 [9] / gw7 [9]

8. .........

9. ============================================= 9 passed in4.51s ==============================================

8.3 指定CPU运行数量

• -n auto：可以自动检测到系统的CPU核数；

• 使用auto利用了所有CPU来跑用例；

• 也可以指定使用几个CPU来跑用例：

1. # x为cpu个数

2. pytest -s -n x

• 如下可以看到使用两个CPU来跑用例时长为6.27s：

1. (venv) F:\pytest_study\test_case\test_j>pytest -s -n 2 test_xdist.py

2. ============================================ test session starts =============================================

3. platform win32 -- Python 3.7.0, pytest-6.2.4, py-1.10.0, pluggy-0.13.1

4. rootdir: F:\pytest_study, configfile: pytest.ini

5. plugins: allure-pytest-2.8.12, assume-2.4.3, cov-2.8.1, forked-1.1.3, html-2.0.1, metadata-1.8.0, ordering-0.6,

6. repeat-0.9.1, rerunfailures-10.3, xdist-1.31.0

7. gw0 [9] / gw1 [9]

8. .........

9. ============================================= 9 passed in6.27s ==============================================

8.4 与pytest-html一起使用

• 命令如下：

pytest -s -n auto --html=report.html --self-contained-html

• 运行结果：

1. pytest -s -n auto test_xdist.py --html=report.thml --self-contained-htm

2. l

1. gw0 [9] / gw1 [9] / gw2 [9] / gw3 [9] / gw4 [9] / gw5 [9] / gw6 [9] / gw7 [9]

2. .........

3. ------------------ generated html file: file://F:\pytest_study\test_case\test_j\report.thml ------------------

4. ============================================= 9 passed in4.68s ==============================================

8.5 让pytest-xdist按照指定顺序执行

• pytest-xdist执行默认是无须的；

• 可通过 --dist 参数来控制顺序；

参数	说明
--dist=loadscope	同一个模块module下的函数和同一个测试类class下的方法来分组
--dist=loadfile	同一个文件名来分组

8.6 pytest-xdist如何保持session执行一次

• pytest-xdist没有内置的支持来确保会话范围的夹具仅执行一次；

• 可使用FileLock方法仅仅产生一次fixture数据：

1. import pytest

2. from filelock import FileLock

5. @pytest.fixture(scope="session")

6. def login():

7. print("====登录===")

8. with FileLock("session.lock"):

9. name = "zhang"

10. password= "123456"

11. # web ui自动化

12. # 声明一个driver，再返回

14. # 接口自动化

15. # 发起一个登录请求，将token返回都可以这样写

17. yield name, password

18. print("====退出====")

总结：

感谢每一个认真阅读我文章的人！！！

作为一位过来人也是希望大家少走一些弯路，如果你不想再体验一次学习时找不到资料，没人解答问题，坚持几天便放弃的感受的话，在这里我给大家分享一些自动化测试的学习资源，希望能给你前进的路上带来帮助。

软件测试面试文档

我们学习必然是为了找到高薪的工作，下面这些面试题是来自阿里、腾讯、字节等一线互联网大厂最新的面试资料，并且有字节大佬给出了权威的解答，刷完这一套面试资料相信大家都能找到满意的工作。

 

          视频文档获取方式：
这份文档和视频资料，对于想从事【软件测试】的朋友来说应该是最全面最完整的备战仓库，这个仓库也陪伴我走过了最艰难的路程，希望也能帮助到你！以上均可以分享，点下方小卡片即可自行领取。