Adversarial Transformation Networks论文阅读笔记

介绍

现有工作

优化问题

文章将对抗样本问题总结成两个优化问题：
给定分类器 $f(x):x\in \mathcal{X}\to y\in \mathcal{Y}$和原始的输入$\mathbf{x}\in \mathcal{X}$，那么无目标和有目标的对抗样本攻击可以表述成以下的优化问题：

1. 无目标攻击
   $${\mathrm{argmin}}_{{\mathbf{x}}^{\ast }}L\left(\mathbf{x},{\mathbf{x}}^{\ast }\right)\text{ s.t. }f\left({\mathbf{x}}^{\ast }\right)̸=f(\mathbf{x})$$
   其中$L$是原始样本和对抗样本之间的视觉损失函数，如L2损失。
2. 有目标攻击
   $${\mathrm{argmin}}_x\cdot L\left(x,x^{\ast }\right)s.t.f\left(x^{\ast }\right)=y_t,\text{ where }{y}_t\in \mathcal{Y}$$
   其中$y$是指定的目标标签。

解决方法

1. 基于解优化问题：L-BFGS，C&W
   具有速度慢但是性能好的特点
2. 基于一步梯度：fast gradient sign(FGSM)，fast least likely class(FLLC)
   具有速度快的优势，泛化能力较强
3. 基于多步梯度：I-FGSM，BIM

本文方法

ATN网络是一个通过神经网络生成对抗样本的过程，可应用于多种应用场景，本文主要讨论有目标的白盒攻击。
ATN网络定义为：
$$g_{f,\mathbf{\theta }}(\mathbf{x}):\mathbf{x}\in \mathcal{X}\to {\mathbf{x}}^{\prime }$$
其中f是要攻击的目标网络输出每一个类的概率，$\theta$是ATN网络的参数，追求视觉损失小：${\mathbf{x}}^{\prime }\sim \mathbf{x}$，且分类非原始目标：$\mathrm{argmax}f(\mathbf{x})̸=\mathrm{argmax}f\left({\mathbf{x}}^{\prime }\right)$

为了找到$g$，可以解以下优化问题：
$$\underset{\mathbf{\theta }}{\mathrm{argmin}}\sum _{{\mathbf{x}}_i\in \mathcal{X}}\beta L_{\mathcal{X}}\left(g_{f,\mathbf{\theta }}\left({\mathbf{x}}_i\right),{\mathbf{x}}_i\right)+L_{\mathcal{Y}}\left(f\left(g_{f,\mathbf{\theta }}\left({\mathbf{x}}_i\right)\right),f\left({\mathbf{x}}_i\right)\right)$$
其中$L_{\mathcal{X}}$是视觉损失，$L_{\mathcal{Y}}$是类别损失。
针对有目标的攻击，文章将$L_{\mathcal{Y}}$定义为$L_{\mathcal{Y},t}\left({\mathbf{y}}^{\prime },\mathbf{y}\right)=L_2\left({\mathbf{y}}^{\prime },r(\mathbf{y},t)\right)$
其中
$$r_{\alpha }(\mathbf{y},t)=\mathrm{norm}\left({\left\{\begin{array}{cc}\alpha \ast \max \mathrm{y}& \text{ if }k=t\\ y_k& \text{ otherwise }\end{array}\right\}}_{k\in \mathrm{y}}\right)$$
目的是保持其他类别的先后顺序不变。

生成对抗样本类别

1. 生成对抗噪声
2. 生成对抗样本

实验结果 MNIST

1. 针对单网络设置的ATN不具有泛化能。
2. ATN网络很好的保持了先后顺序，有利于减少视觉损失。
3. 针对多网络训练的ATN泛化行会好一些。

imagenet实验待补充