OATS正交表测试策略-Zee

 

关键字：

OATS：即Orthogonal Array Testing Strategy，正交表测试策略。

1      OATS的概念：

次数（Runs）：简单的说，就是次数是多少，就有多少个用例。

因素数（Factors）：简单的说，就是有多少个变量。

水平数（Levels）：比如有三个变量，其中变量取值最多的是四个值，那么水平数就是四。

强度（Strength）：即变量间的相互关系，当强度为二时，只考虑变量两两之间的影响，如果强度为三，同考虑三个变量对结果的影响；当强度增加时，用例的个数会急剧增加。

 

正交表的表现形式： L _runs（ levels^factors  ）

 

 

介绍混合水平数正交表的知识，混合水平数的正交表中的因素数的水平数是不同的，比如，有5个变量，一个因素数的水平数为4，另外四个因素数的水平数为2，则用正交表表示如下：

L ₈（4¹×2⁴）

 

2       OATS的好处：

对有些组合测试，我们可选择的一种测试途径是测试所有变量的迪卡尔积（即统计学中的全面搭配法），无疑，这种方式得到的是所有变量、所有取值的完全组合，是最全面的测试。而在变量多的情况下，这无疑也是最不可能实现的方法，所以我们要选择一种方法，即可以测试大部分的BUG，又能极大的缩短我们的时间，正交表是我们的选择：

 

其特点为：

①     完成测试要求所需的测试用例少。

②     数据点的分布很均匀。

③     可用其他统计学的方法等对测试结果进行分析。

 

OATS用来设计测试用例的方法如下的好处：

1，可以组合所有的变量；

2，得到一个最小的测试集，这个集合，包括最少的测试用例，并且，包括了所有变量的组合,

3，得到的变量的组合是均匀的分布的（这一点可以参照上面的正交表的特点）；

4，可以测试用一些复杂的组合；

5，它生成的测试用例是有迹可循日，即有规律的，不像手工测试那样会遗漏一些用例的组合。

3       选择OATS的基本原则

一般都是先确定测试的因素、水平和交互作用，后选择适用的正交表。在确定因素的水平数时，主要因素应该多安排几个水平，次要因素可少安排几个水平。

    （1）先看水平数。若各因素全是2水平，就选用L(2^＊)表；若各因素全是3水平，就选L(3^＊)表。若各因素的水平数不相同，就选择适用的混合水平正交表。

    （2）每一个交互作用在正交表中应占一列或二列。要看所选的正交表是否足够大，能否容纳得下所考虑的因素和交互作用。为了对试验结果进行方差分析或回归分析，还必须至少留一个空白列，作为“误差”列，在极差分析中要作为“其他因素”列处理。

    （3）要看测试精度的要求。若要求高，则宜取测试次数多的正交表。

    （4）若测试费用很昂贵，或测试的经费很有限，或人力和时间都比较紧张，则不宜选实验次数太多的正交表。

    （5）按原来考虑的因素、水平和交互作用去选择正交表，若无正好适用的正交表可选，简便且可行的办法是适当修改原定的水平数。

（6）对某因素或某交互作用的影响是否确实存在没有把握的情况下，选择L表时常为该选大表还是选小表而犹豫。若条件许可，应尽量选用大表，让影响存在的可能性较大的因素和交互作用各占适当的列。

 

4       OATS的步骤：

1，先要知道你有多少个变量，这个不用说了，很简单的就能确定了。它对应到正交表的概念中的因素数。

2，查看每个变量的测试取值个数（这里我用a代替，以方便后面调用），这个取值不是说这个变量的取值范围中包括多少个值，而是用等价类划分出来的。关于等价类的方法，这里就不说了。

3，选择正交表，我们选择正交表时，要满足两点：因素数（即变量个数）和水平数。在选择正交表的时候，要保存：

A、正交表的列不能小于变量的个数；

B、正交表的水平数不能小于a。

4，拿着自己的因素数和水平数，去找对应的正交表，按3中说的原则，现在正交表有一部分已经在网上公布了，在很大程度上已经够设计测试用例用了，如果你的情况太特殊，也可以考虑自己去推算。

5，如果你选择的正交表中某个因素数有剩余的水平数，就拿这个因素数的值从上到下循环代进去。以增加发现缺陷的机会。

6，按次数设计用例，每次数对应一个用例。设计完成后，如果觉得有些组合是可能会有问题的，而正交表中又没有包括，那就增加一些用例。

5       OATS的实例：

5.1    实例

下面介绍一个混合正交表的例子：

变量个数：4个　　分别为：A、B、C、D。

取值为：

A－＞3个值（A1、A2、A3）、

B－＞4个值（B1、B2、B3、B4）、

C－＞4个值（C1、C2、C3、C4）、

D－＞4个值（D1、D2、D3、D4）。

把上述数值对应到正交表的概念中去，如下：

因素数：4

水平数：其中3个变量的水平数为4，1个变量的水平数为3。

对应到正交表中写法如下：

L _runs（3^1 ＋ 4^3）

1，  只考虑强度为：2的情况。

A、 其对应的正交表如下：

Runs  A   B   C   D

 1  |    1   1   1   1

   2  |    2   2   2   2

   3  |    3   3   3   3

   4  |    -   4   4   4

   5  |    1   2   3   4

   6  |    2   1   4   3

   7  |    3   4   1   2

   8  |    -   3   2   1

   9  |    1   3   4   2

  10  |    2   4   3   1

  11  |    3   1   2   4

  12  |    -   2   1   3

  13  |    1   4   2   3

  14  |    2   3   1   4

  15  |    3   2   4   1

  16  |    -   1   3   2

 

即应用到次数为16的正交表，我们可以得到16个用例。

 

B、把各个变量的代入正交表得到如下正交表：

Runs  A   　B   C   D

 1  |    A1   B 1    C 1   D1

   2  |    A2   B 2    C 2   D2

   3  |    A3   B 3    C 3   D3

   4  |    -   　B 4    C 4   D4

   5  |    A1   B 2    C 3   D4

   6  |    A2   B 1    C 4   D3

   7  |    A3   B 4    C 1   D2

   8  |    -   　B 3    C 2   D1

   9  |    A1   B 3    C 4   D2

  10  |    A2   B 4    C 3   D1

  11  |    A3   B 1    C 2   D4

  12  |    -     B 2    C 1   D3

  13  |    A1   B 4    C 2   D3

  14  |    A2   B 3    C 1   D4

  15  |    A3   B 2    C 4   D1

  16  |    -     B 1    C 3   D2

 

C、看上面的正交表可以知道变量A有剩余的水平数。下面我们用A的值循环代入：

 

Runs  A   　B   C   D

 1  |    A1   B 1    C 1   D1

   2  |    A2   B 2    C 2   D2

   3  |    A3   B 3    C 3   D3

   4  |    A1 　B 4    C 4   D4

   5  |    A1   B 2    C 3   D4

   6  |    A2   B 1    C 4   D3

   7  |    A3   B 4    C 1   D2

   8  |    A2 　B 3    C 2   D1

   9  |    A1   B 3    C 4   D2

  10  |    A2   B 4    C 3   D1

  11  |    A3   B 1    C 2   D4

  12  |    A3   B 2    C 1   D3

  13  |    A1   B 4    C 2   D3

  14  |    A2   B 3    C 1   D4

  15  |    A3   B 2    C 4   D1

  16  |    A1   B 1    C 3   D2

 

上面我用A的值循环填充了A剩余的水平数（蓝色标记的部分）。

D、接着，我们就可以用上面的正交表来设计用例了。不再多言。

 

2，  考虑强度为3的情况：

得到对应的正交表如下：

   

 Runs     A   B  C   D

1  |    1   1   1   1

   2  |    1   1   2   2

   3  |    1   1   3   3

   4  |    1   1   4   4

   5  |    1   2   1   2

   6  |    1   2   2   1

   7  |    1   2   3   4

   8  |    1   2   4   3

   9  |    1   3   1   3

  10  |    1   3   2   4

  11  |    1   3   3   1

  12  |    1   3   4   2

  13  |    1   4   1   4

  14  |    1   4   2   3

  15  |    1   4   3   2

  16  |    1   4   4   1

  17  |    2   1   1   2

  18  |    2   1   2   1

  19  |    2   1   3   4

  20  |    2   1   4   3

  21  |    2   2   1   1

  22  |    2   2   2   2

  23  |    2   2   3   3

  24  |    2   2   4   4

  25  |    2   3   1   4

  26  |    2   3   2   3

  27  |    2   3   3   2

  28  |    2   3   4   1

  29  |    2   4   1   3

  30  |    2   4   2   4

  31  |    2   4   3   1

  32  |    2   4   4   2

  33  |    3   1   1   3

  34  |    3   1   2   4

  35  |    3   1   3   1

  36  |    3   1   4   2

  37  |    3   2   1   4

  38  |    3   2   2   3

  39  |    3   2   3   2

  40  |    3   2   4   1

  41  |    3   3   1   1

  42  |    3   3   2   2

  43  |    3   3   3   3

  44  |    3   3   4   4

  45  |    3   4   1   2

  46  |    3   4   2   1

  47  |    3   4   3   4

  48  |    3   4   4   3

  49  |    -   1   4   1

  50  |    -   2   3   1

  51  |    -   3   2   1

  52  |    -   4   1   1

  53  |    -   1   3   2

  54  |    -   2   4   2

  55  |    -   3   1   2

  56  |    -   4   2   2

  57  |    -   1   2   3

  58  |    -   2   1   3

  59  |    -   3   4   3

  60  |    -   4   3   3

  61  |    -   1   1   4

  62  |    -   2   2   4

  63  |    -   3   3   4

  64  |    -   4   4   4

 

我们得到一个次数为64的正交表，按照1中的步骤B、C、D可以得到64测试用例。

 

在这个例子中，如果我们选择强度为4的表的话，也就相当于覆盖整个迪卡尔积了。所以在强度为4的时候，在这个例子中正交已经没有意义。

 

其中概念部分引用了统计学的知识。