机器学习8 -- 模型攻防（model attack & model defense）

1 什么是模型攻防

1.1 攻防定义

我们在平常的深度学习模型开发中，一般关注的重点在模型指标上，比如ACC、F1、Bleu等。但其实还有另一方面需要注意，那就是模型攻防，特别是在人脸识别等安全领域。什么是模型攻击（model attack）呢？以图片分类为例，如下图。原始图片经过分类模型，可以正确识别是tiger cat。我们在图片上加入某些一定分布的噪声后，模型可能就会把它错误识别为其他类别，比如keyboard。

1.2 攻击条件

模型攻击必须满足两个条件

1. 在原始图片上加入一定噪音，通过模型后，predict和真实label尽量远，和目标假label尽量近。loss如下  

   1. 

2. 加入的噪音必须在一定范围内