论文学习：GradDiv: Adversarial Robustness of Randomized Neural Networks via Gradient Diversity Regulariza

《GradDiv: Adversarial Robustness of Randomized Neural Networks via Gradient Diversity Regularization》，由于字数限制，标题没有放全，本篇是关于提高神经网络对抗鲁棒性的一篇论文，论文提出了一种新的方法，叫做GradDiv，论文题目里有几个关键字，就是梯度多样性正则化和随机神经网络，可以看出这是针对随机神经网络提出的一种对抗性防御。

基础知识

随机神经网络

随机神经网络就是向神经网络引入随机变化，一类在神经元之间分配随机过程（随机变量的函数）传递函数，一类是给神经元随机权重。随机的变换避免了局部最优，由随机传递函数建立的随机神经网络通常被称为波茨曼机。从图片示例中可以看出，原本的梯度下降算法只具有下山的能力，这容易导致局部最优，但是向神经网络中加入了随机元素后，就具有了爬山的能力，从而跳出局部最优，找到最优值。

对抗攻击

由于机器学习算法的输入形式是一种数值型向量（numeric vectors），所以攻击者就会通过设计一种有针对性的数值型向量从而让机器学习模型做出误判，这便被称为对抗性攻击。对抗性攻击主要发生在构造对抗性数据的时候，之后该对抗性数据就如正常数据一样输入机器学习模型并得到欺骗的识别结果。在构造对抗性数据的过程中，无论是图像识别系统还是语音识别系统，根据攻击者掌握机器学习模型信息的多少，可以分为如下两种情况：白盒攻击：攻击者能够获知机器学习所使用的算法，以及算法所使用的参数。攻击者在产生对抗性攻击数据的过程中能够与机器学习的系统有所交互。黑盒攻击：攻击者并不知道机器学习所使用的算法和参数，但攻击者仍能与机器学习的系统有所交互，比如可以通过传入任意输入观察输出，判断输出。

背景介绍

神经网络在许多处理自然图像的应用中取得了非常好的性能，但是2014年的时候，有研究表明，神经网络容易受到对抗性攻击，对自然图像的一个非常小的扰动就会对神经网络的性能产生非常大的影响，随后，就产生了对抗性攻击和对抗性防御的相关研究。首先，我们来看一下，针对传统的神经网络有哪些比较经典的对抗性攻击。

FGSM：假设我们的原始输入为X0，我在原始输入上加上一个微小的扰动，让损失函数增加，损失函数越大，神经网络的性能越差，对抗性攻击的目的，就是最大化损失函数。对于损失函数来说，我们让变化量与梯度的变化方向完全一致，那么我们的误差函数就会增大，那么将会对分类结果产生最大化的变化。sign函数保证了变化方法同梯度方向一致。

横坐标表示单维x输入值，纵坐标表示损失值，函数图像是损失函数，损失值越大表示越大概率分类错误，假设灰的线上方为分类错误，下方为分类正确。以样本点x1为例。根据公式，此时的偏导函数为负，则黑色箭头方向为扰动方向，同理x2样本在取值为正时，也沿着黑色箭头方向变化，只要我们的ε取值合适，就能生成对抗样本，使得分类错误。

PGD：PGD可以看作是FGSM的翻版——K-FGSM (K表示迭代的次数），大概的思路就是，FGSM是仅仅做一次迭代，走一大步，而PGD是做多次迭代，每次走一小步，每次迭代都会将扰动clip到规定范围内。PGD的攻击效果比FGSM要好，那么原理是什么呢？首先，如果目标模型是一个线性模型，那么用FGSM就可以了，因为此时loss对输入的导数是固定的，换言之，使得loss下降的方向是明确的，即使你多次迭代，扰动的方向也不会改变。而对于一个非线性模型，仅仅做一次迭代，方向是不一定完全正确的，这也是为什么FGSM的效果一般的原因了。

针对这些对抗性攻击，学者们认识到传统的神经网络已经不再安全，不安全的原因在于攻击者可以直接获取梯度信息，那怎么样可以隐藏梯度信息呢？于是提出了随机神经网络的概念，但是这场博弈论还没有结束，攻击者随后也提出了新的攻击方法EOT。

通过使用随机神经网络，攻击者无法再直接获得网络的梯度信息，从而无法在使用刚刚介绍的直接利用梯度的对抗性攻击。但是EOT使用随机性上的预期梯度作为代理梯度。EOT可以被视为一种基于替代的转移攻击，因为对手无法直接访问要随机采样的推理模型，并使用随机网络的平均分类器作为代理模型。通过随机神经网络中样本梯度向量的样本均值来逼近期望梯度，仍然可以对随机神经网络产生重大影响。由此，随机神经网络也不再是安全的了！

EOT之所以可以实施的重要原因就是，随机网络的样本模型往往具有高度对齐的梯度，这就容易让攻击者找到与真实梯度具有高度相似性的代理梯度，从而引发攻击。如图所示，所以随机神经网络防御的重点应该是让这些梯度分散开来。

基于以上背景，本片提出了针对随机神经网络可以采用GradDiv方法来抵御攻击。

GradDiv

怎么衡量梯度的分散或者聚集程度

关于GradDiv主要有三个方面的内容：第一个就是应该怎么衡量梯度的分散或者聚集程度。本文采用了冯·米塞斯分布，概率密度函数的定义如下，v表示向量，u表示这些向量的平均方向，k表示向量的浓度，也就是向量的聚集程度。K=0，表示均匀分布，k的值越大, 平均方向附近分布的集中度越高。

代理梯度和真是梯度的关系

代理梯度是真是梯度旋转一定的角度得到的，可以看出旋转的角度越大，损失越小，神经网络的准确度越高，也就是说这个时候生成的对抗性样本质量很差，所以对抗样本的生成是在原始样本上加一个非常小的扰动，也就是在真实梯度的基础上旋转非常小的角度。使用旋转角度作为参数，提出了两种正则化方法，一种是基于浓度参数k，一种是基于样本之间的余弦。

怎样让梯度变得更加分散

本文利用的是DPP，也就是行列式点阵过程，利用了DPP之后的梯度分布更加均匀。在机器学习（ML）中，子集选择问题的目标是从 ground set 中选择具有高质量但多样化的的子集。这种高质量和多样性的平衡在 ML 问题中经常通过使用行列式点过程来保持，其中 DPP 赋予子集上的分布能够使得选择两个相似项的概率是负相关的。

实验结果

本篇论文的逻辑就是展示了神经网络对抗攻击和防御的演化过程，文章里涉及到很多公式，并不是能完全理解，在我看来，可以把攻击和防御理解成博弈论，虽然本篇论文提出了新的防御方法，但是还会有新的攻击产生。