V&V过程要处理的对象是Failure,Fault和Defect
Failure是由一个或多个Fault引起的,其结果是用户运行程序得到的结果不理想。
Fault可能会引起Failure但是也可能不引起,其发生的原因是和需求文件不对应或者是软件写得很辣鸡
Defect是Fault和Failure的总称,进行V&V的过程就是要将这个玩意给消灭掉使程序按照requirement里走。这个过程是越靠前所需要的成本就越低。消除Defect的方式之一就是testing
Testing的分类:
> Unit testing:旨在发现存在Unit中的问题,将每个Unit从系统中分离开单独测试
> Intergration testing:测试每个Unit连接接口上的问题
> System testing:测试整个系统是否符合要求
> Regression testing:随着时间和环境变换,测试可能产生的问题
对于黑白盒测试而言对象都是单独的Unit
黑盒测试(function)
这个测试主要是基于requirement document而言的,我们需要知道的只由客户的需求,对于Unit内部结构并不关心。需要进行黑盒测试的主要步骤有三:
1. 定义Criteria
2. 定义针对每一个Criteria的产生的情况的预测
2.1 对于这个预测可以进行分类,分类成多个partition。这样做的理由是尽量不漏任何一种可能的情况尽量做到完善。同时从Partition的分类情况来看也可以看出有哪些情况是不必要进行test的,这些case就可以删掉了。
3. 为每一种预测的情况写test case
当然对于选择predicate的点,我们需要注意以下三个步骤:
> 随机选点
> 将预测的情况分类成几个partition,然后每一个partition中随机选点
> 选择边界点测试极端情况
白盒测试(structure)
主要专注于测试系统内部的结构,因此需要尽可能的在测试中覆盖到所有必要的要素。
statement coverage(node coverage): test case要确保尽可能覆盖到所有的node(每一个操作在流程图中就是一个圆角方框即node),其量化定义为运行的node占所有node的比例
decision coverage(edge coverage): test case要确保尽可能覆盖到所有的edge,即所有的箭头。其量化定义为运行到的edge占所有edge的比例
condition coverage: 这是针对代码中测试的条件语句,每个条件要尽量cover到其所有正确或错误的结果,主要有两种写test case的方法
simple: 针对条件语句中所有的条件,每个调件都需要至少有一个T和一个F的情况包括在内(这个情况称为满足simple condition coverage),但是仅仅是针对一个语句里的子条件,整个条件语句的结果可能不会满足一定有T和F(这种情况为满足condition coverage)。
multiple: 这种方法就是不仅要满足每个子条件有T有F还要将所有可能的子条件的组合情况给列出来
path coverage: 在test case中需要尽量包括所有的路径(即到每一个可能终点的可能路径),值得注意的是如果没有循环才肯能cover到所有的情况,即使只有一个循环也无法cover到所有的情况
loop coverage: 其实算是path coverage的一部分,其旨在测试代码中的循环。