如何分布式执行接口自动化测试用例（下）

       继《如何分布式执行接口自动化测试用例（上）》文章，我们了解了pytest-xdist插件能实现接口自动化用例的分布式运行，但仍还存在不少疑问，比如：pytest-xdist的原理流程是怎样的？分布式能否将同一模块的用例在一个node上执行避免混乱？如何控制session级别的夹具的执行次数等等，今天我们就一一讲下这些：

一、原理和流程

xdist 的分布式类似于一主多从的结构，master 机负责下发命令，控制 slave 机；slave 机根据 master 机的命令执行特定测试任务。在 xdist 中，主是 master，从是 workers。

分布式测试的原理：

（1）xdist 会产生一个或多个 workers，workers 都通过 master 来控制；

（2）每个 worker 负责执行完整的测试用例集，然后按照 master 的要求运行测试，而 master 机不执行测试任务。

分布式测试的流程：

1、创建 worker

（1）master 会在总测试会话（test session）开始前产生一个或多个 worker；

（2）master 和 worker 之间是通过 execnet 和网关来通信的；

（3）实际编译执行测试代码的 worker 可能是本地机器也可能是远程机器。

2、收集测试用例

（1）每个 worker 类似一个迷你型的 pytest 执行器；

（2）worker 会执行一个完整的 test collection 过程（收集所有测试用例的过程）；

（3）然后把测试用例的 ids 返回给 master；

（4）master 是不会执行任何测试用例集的。

3、master 检测 workers 收集到的测试用例集

（1）master 接收到所有 worker 收集的测试用例集之后，master 会进行一些完整性检查，以确保所有 worker 都收集到一样的测试用例集（包括顺序）；

（2）如果检查通过，会将测试用例的 ids 列表转换成简单的索引列表，每个索引对应一个测试用例的在原来测试集中的位置；

（3）所有的节点都保存着相同的测试用例集，并且使用这种方式可以节省带宽，因为 master 只需要告知 workers 需要执行的测试用例对应的索引，而不用告知完整的测试用例信息。

4、测试用例分发

--dist-mode 选项

each：master 将完整的测试索引列表分发到每个 worker。

load：master 将大约25%的测试用例以轮询的方式分发到各个 worker，剩余的测试用例则会等待 workers 执行完测试用例以后再分发。

注：可以使用 pytest_xdist_make_scheduler 这个 hook 来实现自定义测试分发逻辑。

5、测试用例的执行

（1）workers 重写了 pytest_runtestloop（pytest 的默认实现是循环执行所有在 test session 这个对象里面收集到的测试用例）；

（2）但是在 xdist 里, workers 实际上是等待 master 为其发送需要执行的测试用例；

（3）当 worker 收到测试任务, 就顺序执行 pytest_runtest_protocol；

（4）值得注意的一个细节是：workers 必须始终保持至少一个测试用例在任务队列里, 以兼容 pytest_runtest_protocol(item, nextitem)hook 的参数要求，为了将 nextitem 传给 hook；

（5）worker 会在执行最后一个测试项前等待 master 的更多指令；

（6）如果它收到了更多测试项, 那么就可以安全的执行 pytest_runtest_protocol，因为这时 nextitem 参数已经可以确定；

（7）如果它收到一个 "shutdown" 信号, 那么就将 nextitem 参数设为 None, 然后执行 pytest_runtest_protocol。

6、测试用例再分发

--dist-mode=load

（1）当 workers 开始/结束执行时，会把测试结果返回给 master，这样其他 pytest hook 比如（pytest_runtest_protocol 和 pytest_runtest_protocol 就可以正常执行）；

（2）master 在 worker 执行完一个测试后，基于测试执行时长以及每个 work 剩余测试用例综合决定是否向这个 worker 发送更多的测试用例。

7、测试结束

（1）当 master 没有更多执行测试任务时，它会发送一个 "shutdown" 信号给所有 worker；

（2）当 worker 将剩余测试用例执行完后退出进程；

（3）master 等待所有 worker 全部退出；

（4）此时仍需要处理诸如 pytest_runtest_logreport 等事件。

二、按照一定顺序执行

pytest-xdist 默认是无序执行的，可以通过 --dist 参数来控制执行顺序。

--dist=loadscope：将按照同一个模块 module 下的函数和同一个测试类 class 下的方法来分组，然后将每个测试组发给可以执行的 worker，确保同一个组的测试用例在同一个进程中执行。目前无法自定义分组，按类 class 分组优先于按模块 module 分组。

--dist=loadfile：按照同一个文件名来分组，然后将每个测试组发给可以执行的 worker，确保同一个组的测试用例在同一个进程中执行。

在UCS接口测试套中，我们是以模块来区分的，如：ACS、Account、Group、Org等模块。因此，可执行命令如下：

pytest -s -v -n auto --dist=loadscope

执行结果如下图：    

       从图中可以看出执行PC虽然是8核，但因为我们只有test_xdist.py、test_xdist01.py、test_xdist02.py三个模块，故只用到了3核。test_xdist.py的测试实例只在gw0上执行，test_xdist01.py的测试实例只在gw1上执行，test_xdist02.py的测试实例只在gw2上执行。

三、使 scope=session 的 fixture 在 test session 中仅执行一次

pytest-xdist 是让每个 worker 进程执行属于自己的测试用例集下的所有测试用例。

这意味着在不同进程中，不同的测试用例可能会调用同一个 scope 范围级别较高（例如session）的 fixture，该 fixture 则会被执行多次，这不符合 scope=session 的预期。

尽管 pytest-xdist 没有内置的支持来确保会话范围的 fixture 仅执行一次，但是可以通过使用锁定文件进行进程间通信来实现。如下示例：

#!/usr/bin/env python
# --encoding=utf-8
​
import time
import pytest
from filelock import FileLock
​
​
@pytest.fixture(scope="session")
def login(tmp_path_factory,worker_id):
    print(f"===登陆====")
    print(f"worker_id:{worker_id}")
    print(f"tmp_path_factory:{tmp_path_factory}")
    root_tmp_dir = tmp_path_factory.getbasetemp().parent
    print(f"root_tmp_dir:{root_tmp_dir}")
    fn = root_tmp_dir / "data.json"
    print(f"fn:{fn}")
    # 如果是单机运行，则运行这里的代码块【不可删除、修改】
    if worker_id == "master":
        print("11111")
    else:
        with FileLock(str(fn) + ".lock"):
            if fn.is_file():
                print(time.time())
                print(f"第N次访问")
            else:
                print("首次访问")
                fn.write_text("test")

执行

pytest -v -n auto --dist=loadscope --alluredir E:\xdistTest\log\allure-results

运行报告如下：    

 

从报告可以看出只有test_xdist.py::test_tmall_001执行了“首次访问”，从而间接达到了session的效果。