AI²：用抽象解释证明神经网络的安全性和鲁棒性

文献来源：Timon Gehr, Matthew Mirman, Dana Drachsler-Cohen, Petar Tsankov, Swarat Chaudhuri∗, and Martin Vechev. AI²: Safety and Robustness Certification of Neural Networks with Abstract Interpretation[C]. IEEE Symposium on Security and Privacy 2018. pp.3-18.
这是由苏黎世理工学院的团队提出的，最早的一种基于抽象解释的框架。

摘要

  AI²（Abstract Interpretation）是第一个针对深度神经网络的完备且可扩展的分析框架。基于过度逼近（overapproximation）的方法，AI²可以自动证明真实神经网络（比如卷积神经网络）的安全性质（例如鲁棒性）。

  AI²的主要思想是利用经典的抽象解释来表达关于神经网络的安全性和鲁棒性的推理。具体来说，论文使用一组带条件的仿射函数来建模基于ReLU的神经网络，可以刻画神经网络中的全连接层、卷积层和最大池化层结构。并在验证过程中使用各种抽象域来分析这些仿射函数，最后得到输出层变量的取值范围或变量之间的约束关系。

  论文完整实现了AI²并用其在20个神经网络上进行了广泛的评估。实验结果表明AI²有以下几个优点：

（1）AI²足够精确，可以证明诸如鲁棒性之类有价值的性质；

（2）AI²可以用来证明神经网络领域内最先进的防御技术的有效性；

（3）AI²比现有的基于符号分析的分析框架验证速度快得多；

（4）AI²可以处理卷积神经网络，这是目前其他基于线性规划和SMT的方法做不到的。

论文的几个背景知识点

条件仿射变换CAT（conditional affine transformation）

论文把神经网络表示为条件仿射变换的组合，下面是AI²支持的三种神经网络结构的计算过程示例图。

卷积层中定义了一个矩阵W^F来和输入向量相乘，模拟卷积过程。

最大池化层处理输入向量的几个步骤：

上图中每一步转换都定义了对应的矩阵：

整个转化过程用矩阵乘法过程表示出来就是：

抽象解释AI（Abstract Interpretation）

抽象解释使得人们无需运行程序就可以在一组输入上证明程序的性质，它的基本思想是利用抽象域的概念来对某个输入集合的计算进行近似。

上图就是一个抽象解释的过程。

抽象域

抽象域由一组可被表达为逻辑约束的形状组成。几个常用的数字抽象域有：Box（即区间）、Zonotope（环带胞形）、Polyhedron（多面体）。

在上面例子的（a）图中，
区间抽象域：

Zonotope抽象域：