需求分析
测试目标
- 检测智能客服是否能准确根据对话内容和上下文语境识别到目标客服场景
- 检测智能客服是否会按照预定的流程处理买家的需求
- 检测智能客服的回复是否能解决买家的问题
- 检测人工客服介入后,智能客服是否能正常回复
- 检测智能客服处理未知场景的能力
测试范围
- eBay平台-客服-售后
测试用例设计
- 用例编号
- 场景分类
- 正常场景:已知问题
- 异常场景:未知问题
- 定义输入和预期输出
- 输入:历史对话消息、用户请求
- 输出:智能客服的回复、人工客服的回复
用例编号 | 场景 | 输入消息 | 模型响应 | 人工响应 |
---|---|---|---|---|
TC001 | 发错地址 | 为什么把我的包裹发成了A地址,我明明写的是B地址 | 请联系当地物流商核实 | 你好,… |
工具与环境准备
- 开发工具:
- Postman:用于API手动测试和导出测试用例。
- PyCharm:用于编写Python自动化脚本。
- 数据库连接:
- 配置数据库连接参数,确保可以提取历史对话。
- API接口信息:
- 准备API的URL、认证信息、请求参数。
测试脚本开发
- 链接数据库提取测试数据
- 从历史数据库中获取对话消息
- 调用API接口并验证响应
- 使用requests库调用API,将历史消息逐条发送,并验证响应。
- 自动化断言与报告生成
- 使用pytest来组织测试用例,并生成报告。
执行自动化测试
- 回归测试:在模型更新后,检查旧功能是否依旧正常。