利用对抗变化网络进行对抗训练

1 引言

 前一段时间解读了一篇发表于CVPR2021的一篇文章《Improving the Transferability of Adversarial Samples with AdversarialTransformations》，解读文章的链接为《CVPR2021：对抗变换提高对抗样本的可迁移性》。该论文的创新点是首先对抗训练出一个对抗变换网络，该对抗变换网络的核心作用是用来抑制对抗样本攻击性，然后借助对抗变换网络生成对抗样本，最终生成的对抗样本在攻击性和可迁移性的方面能力得到了显著的提高。由此启发一个想法油然而生，如果利用论文中方法生成对抗样本对分类器模型进行对抗训练，那么是不是会使分类器模型的更加鲁棒呢？带着这个问题展开本文章的理论分析和实验验证。

2 方法描述

 令$x\in {\mathbb{R}}^{n\times 1}$表示干净的数据样本，其对应的真实标签为 y ∈ { 1 , ⋯   , k } y\in\{1,\cdots,k\} y∈{1,⋯,k}；带有参数$\theta$的分类器网络为$f_{\theta }(x)$，其映射为$f_{\theta }:{\mathbb{R}}^{n\times 1}\to {\mathbb{R}}^{k\times 1}$；带有参数$\phi$的对抗变换网络$g_{\phi }(x)$，其映射为$g_{\phi }:{\mathbb{R}}^{n\times 1}\to {\mathbb{R}}^{n\times 1}$；损失函数为$J(\cdot ,\cdot )$。生成对抗样本$x^{\prime }\in {\mathbb{R}}^{n\times 1}$一般的优化形式为$$\begin{array}{rl}\underset{x^{\prime }}{\max }& J(f_{\theta }(x^{\prime }),y)\\ \mathrm{s}.\mathrm{t}.& \Vert x^{\prime }-x{\Vert }_{\infty }\le \epsilon \end{array}$$其中$\Vert \cdot {\Vert }_{\infty }$表示的是无穷范数，$\epsilon$表示的是对抗样本$x^{\prime }$和干净样本$x$之间的最大扰动距离。
 当前常用样本数据变换的方式比较固定，比如翻转，缩放，颜色变换等。对抗变换网络的主要目的增强样本变换多样性，从而抑制对抗扰动的攻击性。在生成对抗样本的时候，则需要克服对抗变换网络削弱对抗攻击性的条件下，依然能够使得分类器模型分类出错。对抗变换网络训练与对抗样本生成的对抗目标可以用如下$\min$-$\max$公式给出$$\begin{array}{rl}\underset{\phi }{\min }\underset{x^{\prime }}{\max }& J(f_{\theta }(g_{\phi }(x^{\prime })),y)\\ \mathrm{s}.\mathrm{t}.& \{\begin{array}{rl}\Vert & x^{\prime }-x{\Vert }_{\infty }\le \epsilon \\ & \arg \max f_{\theta }(g_{\phi }(x))=y\end{array}\end{array}$$其中对抗变换网络$g_{\phi }(\cdot )$可以是$\mathrm{C}\mathrm{N}\mathrm{N}$网络，也可以是$\mathrm{V}\mathrm{i}\mathrm{s}\mathrm{i}\mathrm{o}\mathrm{n}\mathrm{T}\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{s}\mathrm{f}\mathrm{o}\mathrm{r}\mathrm{m}\mathrm{e}\mathrm{r}$，在以下的实验方法中会着重对这两种网络架构进行探讨。
 借助对抗网络$g_{\phi }(\cdot )$生成的对抗样本$x^{\prime }$对分类器模型$f_{\theta }$进行对抗训练。此时对抗训练的目标可以由双$\min$-$\max$进行描述$$\begin{array}{rl}\underset{\theta }{\min }\underset{x^{\prime }}{\max }\underset{\phi }{\min }\underset{x^{\prime }}{\max }& J(f_{\theta }(g_{\phi }(x^{\prime })),y)\\ \mathrm{s}.\mathrm{t}.& \{\begin{array}{rl}\Vert & x^{\prime }-x{\Vert }_{\infty }\le \epsilon \\ & \arg \max f_{\theta }(g_{\phi }(x))=y\end{array}\end{array}$$利用对抗变换网络对分类器网络进行训练的双$\min$-$\max$对抗训练的原理示意图如下所示

 双$\min$-$\max$对抗训练有两种训练方式。一种方法就是分阶段进行对抗训练，即将双$\min$-$\max$对抗训任务分解成两个$\min$-$\max$对抗训练任务。另一种方法就是直接整体对双$\min$-$\max$任务进行对抗训练。

• 双$\min$-$\max$分阶段对抗训练：第一阶段进行内部最小最大对抗训练，主要目的训练对抗变换网络$g_{\phi }(\cdot )$，具体的最小最大目标函数为$$\underset{\phi }{\min }\underset{x^{\prime }}{\max }J(f_{\theta }(g_{\phi }(x^{\prime })),y)⟶{\phi }^{\ast }$$
  其中${\phi }^{\ast }$表示的是对抗变换网络参数$\phi$训练成熟之后的参数。对以上最小最大目标函数与再进行拆解可知，当借助于对抗变换网络生成对抗样本，另外我们也需要使得对抗样本对原始的分类器模型产生攻击效果，此时最大化损失函数$$L_{attack}=J(f_{\theta }(g_{\phi }(x^{\prime })),y)+\gamma J(f_{\theta }(x^{\prime }),y)$$当训练对抗变换网络参数$\phi$时，我们希望对抗变换网络不仅可以抑制对抗样本的攻击性，而且尽可能保留干净样本的特征，此时最小化损失函数$$L_t=J(f_{\theta }(g_{\phi }(x^{\prime })),y)+{\alpha }_{1}J(f_{\theta }(g_{\phi }(x)),y)+{\alpha }_2\Vert x^{\prime }-g_{\phi }(x^{\prime }){\Vert }^2$$阶段一相关的算法流程图如下所示
  
  第二阶段进行外部最小最大对抗训练，其主要目的是训练分类器网络参数$\theta$，具体的极大极小目标函数为$$\underset{\theta }{\min }\underset{x^{\prime }}{\max }J(f_{\theta }(g_{{\phi }^{\ast }}(x^{\prime })),y)⟶{\theta }^{\ast }$$其中${\theta }^{\ast }$表示的分类器模型网络参数$\theta$进行对抗训练成熟之后的参数。此时最大化生成对抗样本的损失函数即为上面的提到$L_{attack}$，最小化分类器损失函数即是正常的交叉熵函数$L_c$。阶段二相关的算法流程图如下所示
  
• 双$\min$-$\max$整体进行对抗训练：一次对抗训练的过程为先生成对抗样本，然后训练对抗变换网络，再生成对抗样本，最后训练分类器模型参数$\theta$，。具体的目标函数为$$\underset{\theta }{\min }\underset{x^{\prime }}{\max }\underset{\phi }{\min }\underset{x^{\prime }}{\max }J(f_{\theta }(g_{\phi }),y)⟶{\phi }^{\ast },{\theta }^{\ast }$$其中${\phi }^{\ast }$和${\theta }^{\ast }$为训练成熟的参数。 将分阶段对抗训练的损失函数$L_{attack}$，$L_t$和$L_c$融合在一次对抗训练中。整体对抗训练的算法流程图如下所示
  

3 实验方法

 选取的网络结构是$\mathrm{V}\mathrm{G}\mathrm{G}19$，选取的数据集是$\mathrm{C}\mathrm{K}+$，学习率为$0.0002$，训练的$\mathrm{e}\mathrm{p}\mathrm{o}\mathrm{c}\mathrm{h}$是$100$。生成对抗攻击的算法中的参数中$\gamma$取值为$1$。训练对抗变换网络超参数中${\alpha }_1$为$1$，${\alpha }_2$取值为$0.0001$。选取的$\mathrm{b}\mathrm{a}\mathrm{s}\mathrm{e}\mathrm{l}\mathrm{i}\mathrm{n}\mathrm{e}$算法有正常训练，$\mathrm{p}\mathrm{g}\mathrm{d}$对抗训练，$\mathrm{f}\mathrm{a}\mathrm{s}\mathrm{t}$对抗训练。具体的实验结果如下表所示，本文提出的两种方法对抗训练的效果并不是很好。