Systematic XACML request generation for testing purposes

Antonia Bertolino, Francesca Lonetti, Eda Marchetti, SEAA.2010

本文工作：

与传统的软件测试一样，测试Security Policy的关键问题之一是测试用例生成。目前有三类生成Security Policy测试用例的方法，分别是

Synthesis-based（主要是K. Fisler还有T. Xie的工作）：用可用的属性和描述自动合成测试输入以测试Policy本身；

Model-based（主要是K. Li，W. Mallouli还有T. Mouelhi的工作）：构建Policy行为模型，依据模型自动生成抽象的测试用例，该方法可以检查Policy的描述和实现错误；

Conformance（主要是T. Mouelhi还有A. Masood的工作）：目标是验证Policy参考模型和其描述的映射是否正确。

然而，作者认为，上述工作都仅仅将目光集中在Policy本身，因此提出一种新的观点：将测试观点集中到正确的request domain中。

该框架有三个步骤：

1、依据OASIS提出的XACML上下文模式生成Intermediate XACML request，通过已有工具TAXI生成intermediate XACML request。这些request的数量非常大，因此允许用户指定生成数量的上限；

2、分析待测试Security Policy，从中提取出XACML各元素的值，将这些值存储到相应的集合中（SubjectSet, ResourceSet, ActionSet, EnvironmentSet）;

3、将上述四个集合中的值赋值到第一步生成的intermediate XACML request中，便得到了最终用于测试的XACML request。

本文贡献：

1、提出了一个基于XACML request SCHEMA的test suite生成方法；

2、开发出了工具X-CREATE实现所提出的方法；

3、对SP测试生成的相关工作进行了分类，主要有三类：

Synthesis-based（主要是K. Fisler还有T. Xie的工作）

Model-based（主要是K. Li，W. Mallouli还有T. Mouelhi的工作）

Conformance（主要是T. Mouelhi还有A. Masood的工作）

本文不足：

1、生成那么多intermediate request，第一，不是都有用；第二，耗时。尽管用户可以选择生成的intermediate request的数量，但是这个数量很难把握；

2、本文提出的方法，虽然可以生成XACML request，但是就测试目标来说，由XACML request构成的测试用例集并不能对PEP（即系统功能代码中实现Security Policy的代码段）进行测试，因为Security Policy错误可能发生在PEP中，例如某段代码错误的生成了XACML request；

3、作者提到生成的XACML request有两个用途，其中之一是对PDP进行测试。我觉得这一点很牵强，因为通常实际系统的PDP都来自第三方，例如Sun PDP，所以不存在对PDP的测试问题；

4、实验数据不充分，仅仅和一个现有工具Targen做了比较；

什么是 pair-wise