接口自动化测试框架开发(pytest+allure+aiohttp+ 用例自动生成)_allpairspy 生成jmeter格式测试用例

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新软件测试全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上软件测试知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注软件测试）

正文

caseName: 新增xxx
data:
name: ${gen_uid(10)}
validator:

json:
successed: True

异步读取文件可以使用aiofiles这个第三方库，yaml_load是一个协程，可以保证主进程读取yaml测试用例时不被阻塞，通过await yaml_load()便能获取测试用例的数据

async def yaml_load(dir=‘’, file=‘’):
“”"
异步读取yaml文件，并转义其中的特殊值
:param file:
:return:
“”"
if dir:
file = os.path.join(dir, file)
async with aiofiles.open(file, ‘r’, encoding=‘utf-8’, errors=‘ignore’) as f:
data = await f.read()

data = yaml.load(data)

匹配函数调用形式的语法

pattern_function = re.compile(r’^${([A-Za-z_]+\w*(.))}$‘)
pattern_function2 = re.compile(r’^${(.)}$')

匹配取默认值的语法

pattern_function3 = re.compile(r’^$((.*))$')

def my_iter(data):
“”"
递归测试用例，根据不同数据类型做相应处理，将模板语法转化为正常值
:param data:
:return:
“”"
if isinstance(data, (list, tuple)):
for index, _data in enumerate(data):
data[index] = my_iter(_data) or _data
elif isinstance(data, dict):
for k, v in data.items():
data[k] = my_iter(v) or v
elif isinstance(data, (str, bytes)):
m = pattern_function.match(data)
if not m:
m = pattern_function2.match(data)
if m:
return eval(m.group(1))
if not m:
m = pattern_function3.match(data)
if m:
K, k = m.group(1).split(‘:’)
return bxmat.default_values.get(K).get(k)

return data

my_iter(data)

return BXMDict(data)

可以看到，测试用例还支持一定的模板语法，如f u n c t i o n 、 {function}、function、(a:b)等，这能在很大程度上拓展测试人员用例编写的能力

http请求测试接口

http请求可以直接用aiohttp.ClientSession().request(method,url,**kwargs)，http也是一个协程，可以保证网络请求时不被阻塞，通过await http()便可以拿到接口测试数据

async def http(domain, *args, **kwargs):
“”"
http请求处理器
:param domain: 服务地址
:param args:
:param kwargs:
:return:
“”"
method, api = args
arguments = kwargs.get(‘data’) or kwargs.get(‘params’) or kwargs.get(‘json’) or {}

kwargs中加入token

kwargs.setdefault(‘headers’, {}).update({‘token’: bxmat.token})

拼接服务地址和api

url = ‘’.join([domain, api])

async with ClientSession() as session:
async with session.request(method, url, **kwargs) as response:
res = await response_handler(response)
return {
‘response’: res,
‘url’: url,
‘arguments’: arguments
}

收集测试数据

协程的并发真的很快，这里为了避免服务响应不过来导致熔断，可以引入asyncio.Semaphore(num)来控制并发

async def entrace(test_cases, loop, semaphore=None):
“”"
http执行入口
:param test_cases:
:param semaphore:
:return:
“”"
res = BXMDict()

在CookieJar的update_cookies方法中，如果unsafe=False并且访问的是IP地址，客户端是不会更新cookie信息

这就导致session不能正确处理登录态的问题

所以这里使用的cookie_jar参数使用手动生成的CookieJar对象，并将其unsafe设置为True

async with ClientSession(loop=loop, cookie_jar=CookieJar(unsafe=True), headers={‘token’: bxmat.token}) as session:
await advertise_cms_login(session)
if semaphore:
async with semaphore:
for test_case in test_cases:
data = await one(session, case_name=test_case)
res.setdefault(data.pop(‘case_dir’), BXMList()).append(data)
else:
for test_case in test_cases:
data = await one(session, case_name=test_case)
res.setdefault(data.pop(‘case_dir’), BXMList()).append(data)

return res

async def one(session, case_dir=‘’, case_name=‘’):
“”"
一份测试用例执行的全过程，包括读取.yml测试用例，执行http请求，返回请求结果
所有操作都是异步非阻塞的
:param session: session会话
:param case_dir: 用例目录
:param case_name: 用例名称
:return:
“”"
project_name = case_name.split(os.sep)[1]
domain = bxmat.url.get(project_name)
test_data = await yaml_load(dir=case_dir, file=case_name)
result = BXMDict({
‘case_dir’: os.path.dirname(case_name),
‘api’: test_data.args[1].replace(‘/’, ‘_’),
})
if isinstance(test_data.kwargs, list):
for index, each_data in enumerate(test_data.kwargs):
step_name = each_data.pop(‘caseName’)
r = await http(session, domain, *test_data.args, **each_data)
r.update({‘case_name’: step_name})
result.setdefault(‘responses’, BXMList()).append({
‘response’: r,
‘validator’: test_data.validator[index]
})
else:
step_name = test_data.kwargs.pop(‘caseName’)
r = await http(session, domain, *test_data.args, **test_data.kwargs)
r.update({‘case_name’: step_name})
result.setdefault(‘responses’, BXMList()).append({
‘response’: r,
‘validator’: test_data.validator
})

return result

事件循环负责执行协程并返回结果，在最后的结果收集中，我用测试用例目录来对结果进行了分类，这为接下来的自动生成pytest认可的测试用例打下了良好的基础

def main(test_cases):
“”"
事件循环主函数，负责所有接口请求的执行
:param test_cases:
:return:
“”"
loop = asyncio.get_event_loop()
semaphore = asyncio.Semaphore(bxmat.semaphore)

需要处理的任务

tasks = [asyncio.ensure_future(one(case_name=test_case, semaphore=semaphore)) for test_case in test_cases]

task = loop.create_task(entrace(test_cases, loop, semaphore))

将协程注册到事件循环，并启动事件循环

try:

loop.run_until_complete(asyncio.gather(*tasks))

loop.run_until_complete(task)
finally:
loop.close()

return task.result()

第二部分动态生成pytest认可的测试用例

首先说明下pytest的运行机制，pytest首先会在当前目录下找conftest.py文件，如果找到了，则先运行它，然后根据命令行参数去指定的目录下找test开头或结尾的.py文件，如果找到了，如果找到了，再分析fixture，如果有session或module类型的，并且参数autotest=True或标记了pytest.mark.usefixtures(a…)，则先运行它们；再去依次找类、方法等，规则类似。大概就是这样一个过程。
可以看出，pytest测试运行起来的关键是，必须有至少一个被pytest发现机制认可的testxx.py文件，文件中有TestxxClass类，类中至少有一个def testxx(self)方法。
现在并没有任何pytest认可的测试文件，所以我的想法是先创建一个引导型的测试文件，它负责让pytest动起来。可以用pytest.skip()让其中的测试方法跳过。然后我们的目标是在pytest动起来之后，怎么动态生成用例，然后发现这些用例，执行这些用例，生成测试报告，一气呵成。

test_bootstrap.py

import pytest

class TestStarter(object):

def test_start(self):
pytest.skip(‘此为测试启动方法, 不执行’)

我想到的是通过fixture，因为fixture有setup的能力，这样我通过定义一个scope为session的fixture，然后在TestStarter上面标记use，就可以在导入TestStarter之前预先处理一些事情，那么我把生成用例的操作放在这个fixture里就能完成目标了。

test_bootstrap.py

import pytest

@pytest.mark.usefixtures(‘te’, ‘test_cases’)
class TestStarter(object):

def test_start(self):
pytest.skip(‘此为测试启动方法, 不执行’)

pytest有个–rootdir参数，该fixture的核心目的就是，通过–rootdir获取到目标目录，找出里面的.yml测试文件，运行后获得测试数据，然后为每个目录创建一份testxx.py的测试文件，文件内容就是content变量的内容，然后把这些参数再传给pytest.main()方法执行测试用例的测试，也就是在pytest内部再运行了一个pytest！最后把生成的测试文件删除。注意该fixture要定义在conftest.py里面，因为pytest对于conftest中定义的内容有自发现能力，不需要额外导入。

conftest.py

@pytest.fixture(scope=‘session’)
def test_cases(request):
“”"
测试用例生成处理
:param request:
:return:
“”"
var = request.config.getoption(“–rootdir”)
test_file = request.config.getoption(“–tf”)
env = request.config.getoption(“–te”)
cases = []
if test_file:
cases = [test_file]
else:
if os.path.isdir(var):
for root, dirs, files in os.walk(var):
if re.match(r’\w+', root):
if files:
cases.extend([os.path.join(root, file) for file in files if file.endswith(‘yml’)])

data = main(cases)

content = “”"
import allure

from conftest import CaseMetaClass

@allure.feature(‘{}接口测试({}项目)’)
class Test{}API(object, metaclass=CaseMetaClass):

test_cases_data = {}
“”"
test_cases_files = []
if os.path.isdir(var):
for root, dirs, files in os.walk(var):
if not (‘.’ in root or ‘__’ in root):
if files:
case_name = os.path.basename(root)
project_name = os.path.basename(os.path.dirname(root))
test_case_file = os.path.join(root, ‘test_{}.py’.format(case_name))
with open(test_case_file, ‘w’, encoding=‘utf-8’) as fw:
fw.write(content.format(case_name, project_name, case_name.title(), data.get(root)))
test_cases_files.append(test_case_file)

if test_file:
temp = os.path.dirname(test_file)
py_file = os.path.join(temp, ‘test_{}.py’.format(os.path.basename(temp)))
else:
py_file = var

pytest.main([
‘-v’,
py_file,
‘–alluredir’,
‘report’,
‘–te’,
env,
‘–capture’,
‘no’,
‘–disable-warnings’,
])

for file in test_cases_files:
os.remove(file)

return test_cases_files

可以看到，测试文件中有一个TestxxAPI的类，它只有一个test_cases_data属性，并没有testxx方法，所以还不是被pytest认可的测试用例，根本运行不起来。那么它是怎么解决这个问题的呢？答案就是CaseMetaClass。

function_express = “”"
def {}(self, response, validata):
with allure.step(response.pop(‘case_name’)):
validator(response,validata)“”"

class CaseMetaClass(type):
“”"
根据接口调用的结果自动生成测试用例
“”"

def new(cls, name, bases, attrs):
test_cases_data = attrs.pop(‘test_cases_data’)
for each in test_cases_data:
api = each.pop(‘api’)
function_name = ‘test’ + api
test_data = [tuple(x.values()) for x in each.get(‘responses’)]
function = gen_function(function_express.format(function_name),
namespace={‘validator’: validator, ‘allure’: allure})

集成allure

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注软件测试）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
n(function_express.format(function_name),
namespace={‘validator’: validator, ‘allure’: allure})

集成allure

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注软件测试）
[外链图片转存中…(img-PFugcm5K-1713558047724)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！