对被测系统系统进行自动化测试,可能会面临如下问题:
- 大量数据准备工作,诸如测一个支付流程,可能需要用到用户会员数据、身份数据、支付方式数据,商户数据、商户支付方式数据、秘钥数据,订单数据等
- 依赖下游系统提供的接口,如写账单、报账务、调渠道等,使用mock接口可能测试过程中需要修改被测系统的接口别名或者接口版本,重启系统
- 依赖下游系统的消息,依赖下游系统消息触发业务状态扭转
- 部分应用对定时调度依赖,定时扫单等
- 对系统时间、位置信息等其他因素的依赖
- 制作自动化测试用例成本高
- 维护、开发成本高
- 随着测试的进行,越来越难发现问题