对抗机器学习模型

对抗机器学习（Adversarial Machine Learning）是一种以欺骗或攻击为目的的机器学习技术和研究领域。

在对抗机器学习中，黑客通过产生、操纵或拦截训练数据、特征数据、模型参数等方式，来试图改变或破坏机器学习算法的行为，从而达到他们的不良目的。例如，在人脸识别中，黑客可能会通过添加/修改噪音、旋转图像、遮挡部分特征等方式，诱导识别系统进行错误的认证和识别。

Attack ML Models的意义：
如果要把神经网络模型用到生活中，那么这个模型就要求不但能够对抗普通的噪声，还要能够对抗一些人们特别制作的噪声，也就是对抗人类恶意的攻击。

（1）正常训练的神经网络模型训练是希望预测结果与正确答案越接近越好，所以最小化损失函数，而无目标的对抗攻击不同，它希望预测结果与答案越远越好，也就是最大化损失函数。
（2）有目标的对抗攻击是在无目标对抗攻击的基础上，不仅预测结果离正确答案越远越好，还要离一个错误的答案越接近越好。
（3）正常的神经网络训练是固定输入x，然后训练权重参数。而对抗攻击不同，它是固定住网络模型的参数，而改变输入x。
（4）同时，我们制造的一个输入噪声图像x应该和原来的正常图像距离要小于一定的距离，这样做的目的是让人无法区别出噪声图像和正常图像的区别，但电脑却会错误的判断，从而达到对抗攻击的目的。

（1）L2-norm和L-infinity是两种不同的距离度量方式，而在对模型的攻击时，用L-infinity会比较合适，原因见（2）
（2）右下角中有一个例子，对一个有4个像素图像中的每个像素都做一个小小的改变，我们人眼不会发现有任何差异，而我们只对右下角绿色的像素快做一个稍微大的改变，我们可以发现有明显的差异。但用L2距离来度量的话，这两个改变的距离是一样的，显然是不合理的。而用L-infinity来度量的话就会发现这两个的距离是不一样的，下面那个距原始图像的距离要大于上面图像。