Testing security policies: going beyond functional testing

Yves Le Traon, Tejeddine Mouelhi, Benoit Baudry, ISSRE.2007

本文工作：

对于系统功能测试，研究界已有广泛的相关工作，工业界也有广泛的应用，然而很少有专门的工作专注于对系统的安全策略进行测试。本文将目光集中于对系统安全策略的测试，从测试用例覆盖率的角度论述功能测试和安全测试之间的差别，说明了为安全策略设计专门的测试用例的必要性，同时提出了如何选取有效的安全策略测试用例。

本文主要研究可否将系统功能测试用例用于安全策略测试，作者的思路是：生成两类测试用例，分别针对功能和安全策略测试。为了量化比较两类测试用例检查安全缺陷的能力，采用mutation分析方法。下面是分析结果：

由上表可见，功能测试用例杀死的mutation比率要低于安全策略测试用例。因此得出本文重要的结论：尽管功能测试用例能够覆盖大多安全策略实现部分，但是为测试安全策略而专门设计测试用例依旧是很有必要的，因为它检测安全缺陷的能力更强。

本文贡献：

1、初步论述了是否可以从功能测试用例生成安全策略测试；

2、用mutation分析方法比较了功能测试用例和安全策略测试用例检测安全缺陷（Security Flaw）的能力，结果证明：尽管功能测试用例通常能够覆盖安全策略的实现部分，然而相比于针对安全测试生成的安全策略测试用例，其检测安全缺陷的能力相对较弱；

3、定义了两个测试准则以生成安全策略测试用例；

本文不足：

没有明确提出根据Security Policy模型生成测试用例的方法。（作者08年发表的文章《Model-Based Tests for Access Control Policies》提出了生成测试的方法）