白盒测试和黑盒测试

黑盒测试 (Black-Box Testing)

黑盒测试又称为功能测试、数据驱动测试或基于规格说明书的测试，是一种从用户观点出发的测试。测试人员一般把被测程序当作一个黑盒子。
　　黑盒测试主要测到的错误类型有：不正确或遗漏的功能；接口、界面错误；性能错误；数据结构或外部数据访问错误；初始化或终止条件错误等等。

黑盒测试的作用：黑盒测试法注重于测试软件的功能需求。

1）功能不正确或遗漏；
2）界面错误；
3）输入和输出错误；
4）数据库访问错误；
5）性能错误；
6）初始化和终止错误等。

黑盒测试的方法

常用的黑盒测试方法有：等价类划分法；边界值分析法；错误推测法；因果图法；判定表驱动分析法；正交实验设计法；场景法；功能图分析法。
1) 等价类划分法：
等价类是指某个输入域的子集合。在该子集合中，各个输入数据对于揭露程序中的错误都是等效的，并合理地假定：测试某等价类的代表值就等于对这一类其它值的测试.因此，可以把全部输入数据合理划分为若干等价类，在每一个等价类中取一个数据作为测试的输入条件，就可以用少量代表性的测试数据.取得较好的测试结果.等价类划分可有两种不同的情况：有效等价类和无效等价类。
有效等价类：是指对于程序的规格说明来说是合理的，有意义的输入数据构成的集合.利用有效等价类可检验程序是否实现了规格说明中所规定的功能和性能。
无效等价类：与有效等价类的定义恰巧相反。
设计测试用例时，要同时考虑这两种等价类.因为，软件不仅要能接收合理的数据，也要能经受意外的考验.这样的测试才能确保软件具有更高的可靠性。
确定等价类的原则
①在输入条件规定了取值范围或值的个数的情况下，则可以确立一个有效等价类和两个无效等价类。
②在输入条件规定了输入值的集合或者规定了“必须如何”的条件的情况下，可确立一个有效等价类和一个无效等价类.
③在输入条件是一个布尔量的情况下，可确定一个有效等价类和一个无效等价类。
④在规定了输入数据的一组值（假定n个），并且程序要对每一个输入值分别处理的情况下，可确立n个有效等价类和一个无效等价类。
⑤在规定了输入数据必须遵守的规则的情况下，可确立一个有效等价类（符合规则）和若干个无效等价类（从不同角度违反规则）。
⑥在确知已划分的等价类中各元素在程序处理中的方式不同的情况下，则应再将该等价类进一步的划分为更小的等价类。
**设计测试用例：**在确立了等价类后，可建立等价类表，列出所有划分出的等价类：
输入条件
输入条件 有效等价类 无效等价类
然后从划分出的等价类中按以下三个原则设计测试用例：
①为每一个等价类规定一个唯一的编号。
②设计一个新的测试用例，使其尽可能多地覆盖尚未被覆盖地有效等价类，重复这一步.直到所有的有效等价类都被覆盖为止。
③设计一个新的测试用例，使其仅覆盖一个尚未被覆盖的无效等价类，重复这一步.直到所有的无效等价类都被覆盖为止。
边界值分析法
边界值分析是通过选择等价类边界的测试用例。边界值分析法不仅重视输入条件边界，而且也必须考虑输出域边界。它是对等价类划分方法的补充。
2）边界值分析方法
长期的测试工作经验告诉我们，大量的错误是发生在输入或输出范围的边界上，而不是发生在输入输出范围的内部.因此针对各种边界情况设计测试用例，可以查出更多的错误。
使用边界值分析方法设计测试用例，首先应确定边界情况.通常输入和输出等价类的边界，就是应着重测试的边界情况.应当选取正好等于，刚刚大于或刚刚小于边界的值作为测试数据，而不是选取等价类中的典型值或任意值作为测试数据。
基于边界值分析方法选择测试用例的原则：
1）如果输入条件规定了值的范围，则应取刚达到这个范围的边界的值，以及刚刚超越这个范围边界的值作为测试输入数据。
2）如果输入条件规定了值的个数，则用最大个数,最小个数，比最小个数少一，比最大个数多一的数作为测试数据。
3）根据规格说明的每个输出条件，使用前面的原则1）。
4）根据规格说明的每个输出条件，应用前面的原则2）。
5）如果程序的规格说明给出的输入域或输出域是有序集合，则应选取集合的第一个元素和最后一个元素作为测试用例。
6）如果程序中使用了一个内部数据结构，则应当选择这个内部数据结构的边界上的值作为测试用例。
7）分析规格说明，找出其它可能的边界条件。
3）错误推测法
错误推测法是基于经验和直觉推测程序中所有可能存在的各种错误，从而有针对性的设计测试用例的方法.
错误推测方法的基本思想： 列举出程序中所有可能有的错误和容易发生错误的特殊情况，根据他们选择测试用例。 例如，在单元测试时曾列出的许多在模块中常见的错误. 以前产品测试中曾经发现的错误等，这些就是经验的总结。还有，输入数据和输出数据为0的情况. 输入表格为空格或输入表格只有一行. 这些都是容易发生错误的情况。可选择这些情况下的例子作为测试用例。
4）因果图法
前面介绍的等价类划分方法和边界值分析方法，都是着重考虑输入条件，但未考虑输入条件之间的联系，相互组合等。 考虑输入条件之间的相互组合，可能会产生一些新的情况. 但要检查输入条件的组合不是一件容易的事情，即使把所有输入条件划分成等价类，他们之间的组合情况也相当多. 因此必须考虑采用一种适合于描述对于多种条件的组合，相应产生多个动作的形式来考虑设计测试用例. 这就需要利用因果图（逻辑模型）。
因果图方法最终生成的就是判定表。它适合于检查程序输入条件的各种组合情况。
生成测试用例
（1) 分析软件规格说明描述中，哪些是原因（即输入条件或输入条件的等价类），哪些是结果（即输出条件），并给每个原因和结果赋予一个标识符。
(2) 分析软件规格说明描述中的语义。找出原因与结果之间，原因与原因之间对应的关系. 根据这些关系，画出因果图。
(3) 由于语法或环境限制，有些原因与原因之间，原因与结果之间的组合情况不可能出现. 为表明这些特殊情况，在因果图上用一些记号标明约束或限制条件。
(4) 把因果图转换为判定表。
(5) 把判定表的每一列拿出来作为依据，设计测试用例。
从因果图生成的测试用例（局部，组合关系下的）包括了所有输入数据的取TRUE与取FALSE的情况，构成的测试用例数目达到最少，且测试用例数目随输入数据数目的增加而线性地增加。
前面因果图方法中已经用到了判定表。判定表（Decision Table）是分析和表达多逻辑条件下执行不同操作的情况下的工具.在程序设计发展的初期，判定表就已被当作编写程序的辅助工具了.由于它可以把复杂的逻辑关系和多种条件组合的情况表达得既具体又明确。
5）判定表驱动分析法
条件桩（Condition Stub）：列出了问题的所有条件.通常认为列出的条件的次序无关紧要。
动作桩（Action Stub）：列出了问题规定可能采取的操作.这些操作的排列顺序没有约束。
条件项（Condition Entry）：列出针对它左列条件的取值.在所有可能情况下的真假值。
动作项（Action Entry）：列出在条件项的各种取值情况下应该采取的动作。
规则：任何一个条件组合的特定取值及其相应要执行的操作.在判定表中贯穿条件项和动作项的一列就是一条规则.显然，判定表中列出多少组条件取值，也就有多少条规则，既条件项和动作项有多少列。
判定表的建立步骤
①确定规则的个数。假如有n个条件.每个条件有两个取值（0,1），故有2n种规则。
②列出所有的条件桩和动作桩。
③填入条件项。
④填入动作项.等到初始判定表。
⑤简化.合并相似规则（相同动作）。
适合使用判定表设计测试用例的条件：
①规格说明以判定表形式给出，或很容易转换成判定表。
②条件的排列顺序不会也不影响执行哪些操作。
③规则的排列顺序不会也不影响执行哪些操作。
④每当某一规则的条件已经满足，并确定要执行的操作后，不必检验别的规则。
⑤如果某一规则得到满足要执行多个操作，这些操作的执行顺序无关紧要。
6）正交试验设计
就是使用已经造好了的正交表格来安排试验并进行数据分析的一种方法，目的是用最少的测试用例达到最高的测试覆盖率。
7）场景法
软件几乎都是用事件触发来控制流程的，事件触发的情景
基本流和备选流
基本流和备选流
便形成了场景，而同一事件不同的触发顺序和处理结果就形成事件流。这种在软件设计方面的思想也可以引入到软件测试中，可以比较生动地描绘出事件触发时的情景，有利于测试设计者设计测试用例，同时使测试用例更容易理解和执行。

黑盒测试的优缺点

优点
1） 基本上不用人管着，如果程序停止运行了一般就是被测试程序crash了
2）设计完测试用例之后，下来的工作就是爽了，当然更苦闷的是确定crash原因
缺点
1）结果取决于测试用例的设计，测试用例的设计部分优势来源于经验，OUSPG的东西很值得借鉴
2） 没有状态转换的概念，一些成功的例子基本上都是针对PDU来做的，还做不到针对被测试程序的状态转换来实现
3）就没有状态概念的测试来说，寻找和确定造成程序crash的测试例是个麻烦事情，必须把周围可能的测试例单独确认一遍。而就有状态的测试来说，就更麻烦了，尤其不是一个单独的testcase造成的问题。这些在堆的问题中表现的更为突出。

黑盒测试方法总结

对于黑盒测试的综合策略是：首先，考虑边界值分析法，边界值分析法是在任何情况下都必须使用的方法，因为经验表明这种方法设计的测试用例发现程序错误的能力最强。必要时用等价类划分方法补充一些测试用例。其次，可以用错误推测法再追加一些测试用例。这时，可以对照程序逻辑，检查已设计出的测试用例的逻辑覆盖率，如果没有达到要求的覆盖标准，应当再补充足够的测试用例；如果程序的功能说明中含有输入条件的组合情况，则一开始就可以选用因果图法。

白盒测试 (White-Box Testing)

为什么要考虑白盒测试呢？举个例子说明，设x=0,y=5, 程序设计z=y/x, 如果只考虑输入输出的黑盒测试，我们看不出程序内部的逻辑错误(分母不能为零)，即使我们使用黑盒测试的测试用例覆盖的再全也发现不了这个问题，这个时候就要考虑使用白盒测试了。
　　白盒测试也称为结构测试或逻辑驱动测试，是针对被测单元内部是如何进行工作的测试。它根据程序的控制结构设计测试用例，主要用于软件或程序验证。白盒测试法检查程序内部逻辑结构，对所有的逻辑路径进行测试，是一种穷举路径的测试方法，但即使每条路径都测试过了，但仍然有可能存在错误。因为：穷举路径测试无法检查出程序本身是否违反了设计规范，即程序是否是一个错误的程序；穷举路径测试不可能检查出程序因为遗漏路径而出错；穷举路径测试发现不了一些与数据相关的错误。
　　白盒测试需要遵循的原则有：
　　1. 保证一个模块中的所有独立路径至少被测试一次；
　　2. 所有逻辑值均需要测试真（true）和假（false）；两种情况；
　　3. 检查程序的内部数据结构，保证其结构的有效性；
　　4. 在上下边界及可操作范围内运行所有循环。

白盒测试方法：静态测试&动态测试

1）静态测试是不用运行程序的测试，包括代码检查、静态结构分析、代码质量度量、文档测试等等，它可以由人工进行，充分发挥人的逻辑思维优势，也可以借助软件工具（Fxcop）自动进行。
2）动态测试则需要执行代码，也是我们用的最多的一种测试，通过运行程序找到问题，包括功能确认与接口测试、覆盖率分析、性能分析、内存分析等。
1）单元测试
2）代码检查
3）同行评审
4）技术评审
　　要检验测试的效果，就要去看测试的覆盖率，当覆盖率越大，说明测试成效越好，软件的缺陷越少。但覆盖率不是目标（质量才是目标）而只是一种手段。测试覆盖率包括功能点覆盖率和结构覆盖率，其中，功能点覆盖率大致用于表示软件已经实现的功能与软件需要实现的功能之间的比例关系；而结构覆盖率包括语句覆盖率、分支覆盖率、循环覆盖率和路径覆盖率等等。
　　而逻辑覆盖法中根据覆盖目标的不同和覆盖源程序语句的详尽程度，逻辑覆盖又可分为：语句覆盖； 判定覆盖；条件覆盖；判定/条件覆盖；组合覆盖；路径覆盖，且这些覆盖程度越往后越全。

灰盒测试 (Gray-Box Testing)

灰盒测试更像是白盒测试和黑盒测试的混合测试，现阶段对灰盒测试没有更明确的定义，但更多的时候，我们的测试做的就是灰盒测试，即既会做黑盒测试又会做白盒测试。

功能测试常用方法

1） 页面链接检查：每一个链接是否都有对应的页面，并且页面之间切换正确。
2）相关性检查：删除/增加一项会不会对其他项产生影响，如果产生影响，这些影响是否都正确。
3） 检查按钮的功能是否正确：如update,cancel,delete,save等功能是否正确。
4）字符串长度检查： 输入超出需求所说明的字符串长度的内容，看系统是否检查字符串长度，会不会出错.
5）字符类型检查： 在应该输入指定类型的内容的地方输入其他类型的内容（如在应该输入整型的地方输入其他字符类型），看系统是否检查字符类型，会否报错.
6）标点符号检查： 输入内容包括各种标点符号，特别是空格，各种引号，回车键.看系统处理是否正确.
7）中文字符处理： 在可以输入中文的系统输入中文，看会否出现乱码或出错.
8） 检查带出信息的完整性： 在查看信息和update信息时，查看所填写的信息是不是全部带出.，带出信息和添加的是否一致
9）信息重复： 在一些需要命名，且名字应该唯一的信息输入重复的名字或ID，看系统有没有处理，会否报错，重名包括是否区分大小写，以及在输入内容的前后输入空格，系统是否作出正确处理.
10）检查删除功能：在一些可以一次删除多个信息的地方，不选择任何信息，按”delete”，看系统如何处理，会否出错；然后选择一个和多个信息，进行删除，看是否正确处理.
11）检查添加和修改是否一致： 检查添加和修改信息的要求是否一致，例如添加要求必填的项，修改也应该必填；添加规定为整型的项，修改也必须为整型.
12）检查修改重名：修改时把不能重名的项改为已存在的内容，看会否处理，报错.同时，也要注意，会不会报和自己重名的错.
13）重复提交表单：一条已经成功提交的纪录，back后再提交，看看系统是否做了处理。
14）检查多次使用back键的情况： 在有back的地方，back，回到原来页面,再back，重复多次，看会否出错.
15）search检查： 在有search功能的地方输入系统存在和不存在的内容，看search结果是否正确.如果可以输入多个search条件，可以同时添加合理和不合理的条件，看系统处理是否正确.
16）输入信息位置： 注意在光标停留的地方输入信息时，光标和所输入的信息会否跳到别的地方.
17）上传下载文件检查：上传下载文件的功能是否实现，上传文件是否能打开。对上传文件的格式有何规定，系统是否有解释信息，并检查系统是否能够做到。
18）必填项检查：应该填写的项没有填写时系统是否都做了处理，对必填项是否有提示信息，如在必填项前加*
19）快捷键检查：是否支持常用快捷键，如Ctrl+C Ctrl+V Backspace等，对一些不允许输入信息的字段，如选人，选日期对快捷方式是否也做了限制。
20）回车键检查： 在输入结束后直接按回车键，看系统处理如何，会否报错。