面对复杂的验证任务,究竟应该采用定向测试还是随机测试?这个问题在验证圈里一直存在争论,而我今天想分享一个真实案例,说说过度依赖随机测试带来的痛点。
前段时间,我遇到一个团队在验证一个状态机模块。测试编写人员完全采用随机测试,没有开发任何定向测试。表面上看起来很美好,但实际上每次regression都会有那么一两个seed失败。更要命的是,测试时间越来越长,有些甚至要跑24小时才会失败。这种情况让项目负责人和经理非常焦虑,因为看不到尽头啊!
面对复杂的验证任务,究竟应该采用定向测试还是随机测试?这个问题在验证圈里一直存在争论,而我今天想分享一个真实案例,说说过度依赖随机测试带来的痛点。
前段时间,我遇到一个团队在验证一个状态机模块。测试编写人员完全采用随机测试,没有开发任何定向测试。表面上看起来很美好,但实际上每次regression都会有那么一两个seed失败。更要命的是,测试时间越来越长,有些甚至要跑24小时才会失败。这种情况让项目负责人和经理非常焦虑,因为看不到尽头啊!