【报告整理】对抗性机器学习:攻击与防御

《Adversarial MachineLearning: Attack and Defence》
报告内容：Deep neural networks have achieved great success in a number of fields including computer vision, speech, and natural language processing. However, recent studies show that these deep models are vulnerable to adversarial examples crafted by adding small, human imperceptible adversarial perturbations to normal examples. Such vulnerability raisessecurity concerns about their practicability in security-sensitive applications such as face recognition and autonomous driving. In this talk, I will give an introduction of adversarial machining learning from two aspects: attack and defense. The former focuses on how to generate adversarial examples to attack deep models, and the latter focuses on how to improve the robustness of deep models to adversarial examples.

报告的主要内容包括：对抗机器学习的研究意义，对抗学习中的攻击（Attack）和防御（Defence）的介绍，对抗训练中评价收敛性能的指标FOSC（First-Order Stationary Condition）和动态对抗训练算法，以及总结四个部分。

攻击（Attack）和防御（Defence）

攻击是如何生成对抗样本，而防守是如何提高对对抗样本的鲁棒性。这就像一个游戏，更好的攻击需要更好的防守，反过来，更好的防守可以启发更好的攻击。常见的攻击有两种，一种是白盒攻击（White-box Attacks），另一种是黑盒攻击（Black-box Attacks）。其中，白盒攻击可以获得模型的参数和结构，常见的白盒攻击包括有目标的攻击（Targeted Attack）和无目标的攻击（Non-targeted Attack）。有目标的攻击是指误导分类器预测某一个特定的类别，而无目标的攻击是指误导分类器去预测任何不是真实类别的类别。常见的白盒攻击算法包括FGM、BIM和PGD等算法。黑盒攻击不能获得模型的参数和结构，常见的黑盒攻击有零查询攻击（Zero-query attack）和基于查询的攻击（Query-based attack）。通常来说，黑盒攻击的难度要高于白盒攻击的难度。

对抗防御的方法

对抗防御的方法可以分为两大类，即检测（Detection）和预防（Prevention）。基于检测的方法包含组合（Ensemble）、归一化（Normalization）、分布式检测（Distributional detection）、PCA检测（PCA detection）和二次分类（Secondary classification）。基于预防的方法主要包含随机（Stochastic）、生成（Generative）、训练过程（Training Process）、结构（Architecture）、再训练（Retrain）和预处理输入（Pre-process input）。虽然现有的防御方法很容易被厉害的攻击手段攻破，但有一种防御算法还没有被完全攻破，那就是对抗训练（adversarial training）。

对抗训练

对抗训练本质上是一种数据增强的方法，即使用对抗样本来训练鲁棒的深度神经网络。该方法的求解可以被归纳为min-max的过程，即Inner Maximization和Outer Minimization两个步骤。Inner maximization用于通过最大化分类损失函数来生成对抗的样本，该过程是一个受限的优化问题，一阶方法PGD（Projected Gradient Descent）通常会给出好的求解方法。Outer Minimization用于使用Inner Maximization阶段生成的对抗样本来训练一个鲁棒的模型，而且受Inner Maximization阶段的影响非常大。

FOSC

为了测量Inner Maximization的收敛性能，又引入了一阶平稳条件FOSC，该条件有封闭的解，其值越小代表Inner Maximization有更好的解，等同于对对抗样本有更好的收敛性能。FOSC提供了一种可比较的、一致性的对抗强度测量方法，一般来说，FOSC值越小，则模型的Accuracy值越低，Loss值也越高，相应的攻击强度越大。此外，FOSC可以反映对抗训练过程的一些性质。标准的对抗训练在早期的阶段容易过拟合于强PGD方法生成的对抗样本，在早期阶段使用弱攻击FGSM的方法可以提高模型的鲁棒性，而鲁棒性的提升可以反映在FOSC的分布上。

动态对抗训练的方法

与标准的对抗训练的方法相比，该方法有很多优势：可以进行Inner Maximization的动态收敛性控制，逐步增加模型的收敛性能，即逐步减小FOSC值。该方法收敛性的证明过程及其在MNIST和CIFAR10数据库上的实验结果。通过实验结果可以看出，该动态对抗训练的方法除了能取得更好的防御性能外，还在以FOSC所反映的收敛性能上有更精确的控制能力，即在每一个训练阶段有更集中的FOSC分布，在不同的训练阶段有更分散的FOSC分布。

总结

一是对抗机器学习作为一个新兴的领域正在引起大家的广泛关注，这一点可以从近几年ArXiv和机器学习顶级会议上所接收的该领域的文章的数目看出；
二是对抗机器学习领域存在大量的开放性的挑战问题，在攻击和防守方面都可以做很多工作，比如新的攻击方法和新的具有鲁棒性的防守方法；
三是除了安全问题之外的鲁棒性和泛化性的问题。