Adversarial Attack

选题：文本对抗攻击（感觉有点偏，不知道徐老师会不会认）
背景介绍：对抗攻击是指对输入的测试样本故意添加一些人无法察觉的细微的干扰，导致模型以高置信度给出一个错误的输出，从而暴露受害模型的弱点，有助于提高模型的鲁棒性和可解释性，从某种意义上来说，对抗攻击就是一种测试模型的方法。
以下图为例简单阐述对抗攻击的做法：

在上图中，原本的图片分类模型对于上图的判断是panda，但当人为的给样本添加一个微小的扰动之后，模型会给出错误的分类结果。

而在NLP领域，因为word embedding并不是连续的，如果直接给样本添加扰动的话，生成的adversarial sample并不是一个人类日常使用的句子，所以通常情况下会使用近义词词典来替换样本中的某个单词，以保证生成的对抗样本符合一下三点要求：
1、人类可以正确adversarial sample识别；
2、adversarial sample 和 original sample 语义相近；
3、adversarial sample应该是人类语言并且符合语法规则；
参考文献：文本对抗攻击和防御必读清单