导语
接上一期,本次拆解案例来自于2024年QECon大会上海站。文末附资料获取方式。
测试和大模型落地走过的弯路
跳过前面的背景介绍,直接开始干货内容。首先是大模型应用4种技术的选择,以及在这几种技术选择过程中的一些弯路描述,这对我们后来者是非常有启发意义的。和上一期所说的一样,一定要结合自己公司的技术能力、资源投入和使用场景选择最合适的技术。
“技术人该死的优越感”,大家还是要理智。这也是印证了我之前的说法,在做微调过程中需要投入大量的资源,等着微调模型上线后,才发现业界又出来了更好的通用模型,提示词工程加RAG才是现阶段比较合理的最佳实践。
提示词工程
接下来就是提示词样例了,大家参考即可。这里面值得我们学习的是:在接口测试过程中最重要的就是接口参数的测试数据,而在生成接口测试用例的时候,可以进一步告诉模型基于什么样的测试用例设计方法,如“等价类方法”。这样可以帮助模型生成覆盖率更高的测试用例和测试数据。
基于大模型接口测试实践
接下来给了一个基于大模型云服务的接口测试实践完整流程图,用的是智谱清言的API,目前也有多种线上免费模型可以使用,包括百度、阿里、腾讯等厂商。而现阶段最好的方式可能是私有化部署DeepSeek R1,从网上测试情况来看,32B的模型效果足够中小企业内部使用,当然有实力上满血的671B。
方案中还给出了代码生成的部分,现在看起来有些多余,各家大模型早已实现直接输出代码。
接口测试用例生成工程化
这里面再多说一句方案了没有提到的,实际上现在大多数企业都会有接口测试平台,而不再是使用简单的接口测试框架,这种情况下进行工程化集成才是最优解。具体来说可以参考以下界面进行实现,测试人员点击“智能生成用例”按钮,系统基于接口信息(可以进一步支持上传接口文档、测试人员文字输入)组织提示词,经过大模型生成对应的测试用例和测试数据,系统在拿到大模型输出后解析成平台可以识别的用例实体进行展示。测试人员可以清晰地查看用例参数,并支持编辑保存。在输出数量上,可以一次10条左右,测试人员直接进行选择性采纳,可以大大提升整体易用性。

关注公众号【关于那些的个人观点】,发送消息“智能化测试”,获取完整内容PDF