笔记——对抗学习

早在 2014 年，Szegedy et al. [1] 发现只要对深度学习模型的输入添加一些微小的扰动就能轻易改变模型的预测结果。后续的研究将该种扰动称之为对抗扰动，扰动后的输入称为对抗样本，将输入对抗样本误导模型的这一过程称为对抗攻击。深度学习模型遭遇对抗攻击时所表现出的脆弱性，给实际应用带来了极大的风险。自然语言处理的应用比如文本分类、情感分类、问答系统、推荐系统等也都受到了对抗攻击的威胁
在上述背景下，已经有大量的研究集中于提升深度学习模型对于对抗攻击的鲁棒性（也称为对抗防御），其中对抗训练是其中的主要方法之一。本文对文本处理中的对抗训练进行初步的梳理和总结。