关于论文Safety Verification of Deep Neural Networks

  其实现在对于神经网络的攻击方法已经提出了很多，但有关防御，验证的问题却还有很多值得研究的地方，除了Reluplex以外，这一篇论文中，也是提出希望基于可满足性模理论来对神经网络的鲁棒性做一些验证。这篇论文感觉已经更偏向于软件工程的范畴，所以读起来略有点恶心。
  类比之前的攻击，对于神经网络的攻击大部分实际上是求解一个优化问题，优化目标是使得神经网络分类错误，并且距离原始样本点的较近（这个距离往往用范数来度量）。而验证往往是给定一个原始样本点的邻域（这个邻域往往也是范数来刻画的），来验证这个邻域内是否存在对抗样本。
  下面先给出这篇论文的一些定义以及符号：

• 定义：一般的，我们将一个（前馈和深度）神经网络N记作一个元组 $(L,T,\phi)$，其中 $L = \{L_k | k\in \{0，...，n\}\}$ 是一组层， $L_0$ 是输入层，而 $L_n$ 是输出层，$T \subset L \times L$ 是层之间的一组顺序连接， 除了输入层和输出层以外，每层都有一个输入连接和一个输出连接，$\phi= \{\phi_k| k\in \{1，...，n\}\}$ 是一组激活函数 $\phi_k：D_{L_{k-1}}→D_{L_k}$，每个非输入层一个。
  因此，网络通过其输入层输入 $x$（也是 $D_{L_0}$），然后通过一连串的激活传播至以下每一层直至输出层。 我们将层 $k$ 中的点 $x$ 的激活值表示为 $\alpha_{x,k} = \phi_k（\phi_{k-1}（...\phi_1(x)))∈D_{L_k}$，其中 $\alpha_{x,0} = x$。 对于 $k$ 中的某一个感知器 $p \in P_k$，我们记 $\alpha_{x，k(p)}$ 表示其在输入$x$上激活的值。 对于每个激活 $\alpha_{x,k}$ 和层 $k'<k$，我们定义 $Pre_{k'}(\alpha_{x,k})= \{\alpha_{y,k'}\in D_{L_k'} | \alpha_{y,k} =\alpha_{x,k}\}$ 为第 $k'$ 层中激活值的集合，其在层 $L_k$ 中的相应激活为 $\alpha_{x,k}$。 分类决策是基于输出层中的激活值作出分类决定，例如将 $x$ 分配给类别 $\arg\max_{p∈P_n}{\alpha_{x,n}(p)}$。 为简单起见，我们用 $\alpha_{x,n}$ 表示分配给输入 $x$ 的类，因此 $\alpha_{x,n} =\alpha_{y,n}$ 表示两个输入 $x$ 和 $y$ 具有相同的类。
• 假设：对于层 $L_k$ 中点 $x$ 的每个激活值 $\alpha_{x,k}$，区域 $\eta_k(\alpha_{x,k})$ 包含人类观察者认为非常接近 $\alpha_{x,k}$ 的激活值，它们应该被分类为与 $x$ 相同。
  直观地说，点 $x$ 处的网络$N$的安全性意味着分类决策在区域 $\eta_k(\alpha_{x,k})$ 内的扰动 $x$ 处是鲁棒的。 请注意，虽然扰动应用于 $L_k$ 层，但分类决策是基于输出层 $L_n$ 中的激活。
  其中，$\eta_k(\alpha_{x,k})$ 的定义为 $\eta_k(\alpha_{x,k}) = \{z \in D_{l_k} | ||z-\alpha_{x,k}|| \leq d \}$
• 定义[General Safety]：设 $\eta_k(\alpha_{x,k})$ 是神经网络$N$的层 $L_k$ 中的一个区域，并且 $\alpha_{x,k}\in \eta_k(\alpha_{x,k})$。 如果对于 $\eta_k(\alpha_{x,k})$ 中的所有激活值 $\alpha_{y,k}$ 都有 $\alpha_{y,n}=\alpha_{x,n}$，那么我们称$N$对于输入 $x$ 和区域 $\eta_k(\alpha_{x,k})$ 是安全的，记作 $N,\eta_k \models x$。
• 操作：操作实际上就是一个施加扰动的过程，将操作 $\delta_k(\alpha_{x,k})$ 应用于激活 $\alpha_{x,k}$ 将导致另一个激活，从而改变某些或所有维度的值。因此，我们将操作表示为超矩形，根据层 $L_k$ 的两个激活值 $\alpha_{x,k}$ 和 $\alpha_{y,k}$定义为 $rec(\alpha_{x,k},\alpha_{y,k})=\times_{p∈P_k}[\min(\alpha_{x,k}(\rho),\alpha_{y,k}(\rho)),\max(\alpha_{x,k}(\rho),\alpha_{y,k}(\rho))]$。
  对于激活值 $\alpha_{x,k}$ 和操作集合 $\Delta$，我们用 $rec(\Delta，\alpha_{x,k})$表示包含所有超矩形的多面体，所述超矩形是通过在 $\alpha_{x,k}$ 上施加一些操作而产生的，即 $rec(\Delta，\alpha_{x,k})=\delta\in \Delta rec(\alpha_{x,k},\delta(\alpha_{x,k}))$。 并且设 $\Delta_k$ 是层 $L_k$ 的所有可能操作的集合。
• 有效操作：给定激活值 $\alpha_{x,k}$，如果 $\alpha_{x,k}$是 $rec(V(\alpha_{x,k}),\alpha_{x,k})$ 的内点，则一组操作 $V(\alpha_{x,k})\subseteq \Delta_k$ 是有效的，即 $\alpha_{x,k}$ 在矩阵 $rec(V(\alpha_{x,k}),\alpha_{x,k})$ 内部并且不属于 $rec(V(\alpha_{x,k}),\alpha_{x,k})$ 的边界。
  图2给出了二维空间中有效操作的示例：每个箭头表示一个操作，每个虚线框表示相应操作的（超）矩形，激活值 $\alpha_{x,k}$ 是虚线空间的内部点框。
  对于操作 $\delta^1_k(\alpha_{y,k})$ 和 $\delta^2_k(\alpha_{x,k})$，如果前者超矩形中任意激活值也在后者超矩形中，则称前者比后者更精细(finer)，记作 $\delta^1_k(\alpha_{y,k})\leq \delta^2_k(\alpha_{x,k})$，这也蕴含了 $\alpha_{y,k}$ 是 $\delta^2_k(\alpha_{x,k})$ 的超矩形中的激活值。
  此外，我们记 $\phi_{k'}(...\phi_{k+1}(\delta_k(\alpha_{x,k})))$ 为 $\delta_{k,k'}(\alpha_{x,k})$，表示在激活 $\alpha_{x,k}$ 上应用操作 $\delta_k$ 之后在层 $k'\ge k$ 中的相应激活值，其中 $\delta_{k,k}(\alpha_{x,k})=\delta_{k}(\alpha_{x,k})$。
  
• 最小操作：如果不存在操作 $\delta^1_k$ 和 $\delta^2_k$ 以及激活值 $\alpha_{y,k}$ 使得 $\delta^1_k(\alpha_{x,k})\leq \delta_k(\alpha_{x,k}),\alpha_{y,k}=\delta^1_k(\alpha_{x,k}),\delta_k(\alpha_{x,k})=\delta^2_k(\alpha_{y,k})$ 并且有 $\alpha_{y,n}\neq \alpha_{x,n},\alpha_{y,n}\neq \delta_{k,n} (\alpha_{x,k})$，则称激活值 $\alpha_{x,k}$ 上的操作 $\delta_k$ 是最小的。
  直观地说，最小操作没有更精细的操作，导致不同的分类。 然而，在应用最小操作之前和之后都可能具有不同的分类，即有可能 $\delta_{k,n}(\alpha_{x,k}) \neq \alpha_{x,n}$。 不难看出，操作的最小性意味着可以通过检查端点 $\alpha_x,k}$ 和 $\delta_k(\alpha_{x,k})$ 的类来检测其相应超矩形中的类变化。