恒源云(GPUSHARE)_基于梯度的NLP对抗攻击方法

文章来源 | 恒源云社区（专注人工智能/深度学习云GPU服务器训练平台，官方体验网址：gpushare.com/ ）

原文地址 | https://bbs.gpushare.com/topic/707/%E5%9F%BA%E4%BA%8E%E6%A2%AF%E5%BA%A6%E7%9A%84nlp%E5%AF%B9%E6%8A%97%E6%94%BB%E5%87%BB%E6%96%B9%E6%B3%95?_=1637048101498

原文作者 | Mathor

---

前言：
Facebook提出了一种NLP通用的攻击方法，而且可以通过梯度优化，论文发表在EMNLP2021，名为Gradient-based Adversarial Attacks against Text Transformers，源码在facebookresearch/text-adversarial-attack

BACKGROUND

我们首先定义模型$h:\mathcal{X}$ $\to \mathcal{Y}$，其中$\mathcal{X}$和$\mathcal{Y}$分别是输入输出集。设测试样本$x\in \mathcal{X}$被模型正确预测为标签$y$，则有$y=h(x)\in \mathcal{Y}$。如果一个与$x$无限接近的对抗样本${\mathbf{x}}^{\prime }$使得$h({\mathbf{x}}^{\prime })\ne y$，则${\mathbf{x}}^{\prime }$是一个好的对抗样本。我们可以通过定义函数$\rho :\mathcal{X}\times \mathcal{X}\to {\mathbb{R}}_{\ge 0}$ 来量化$\mathbf{x}$和${\mathbf{x}}^{\prime }$的接近程度。设阈值$ϵ>0$，如果 $\rho (\mathbf{x},{\mathbf{x}}^{\prime })\le ϵ$，则认为对抗样本${\mathbf{x}}^{\prime }$与样本$\mathbf{x}$非常接近

寻找对抗样本的过程通过被视为一个优化问题，例如对于分类问题来说，模型$h$输出一个logits向量${\varphi }_h(\mathbf{x})\in {\mathbb{R}}^K$，使得$y=\arg ma{x}_k{\varphi }_h(\mathbf{x}{)}_k$ ，为了使得模型预测错误，我们可以将margin loss选作对抗损失：

当损失为0的时候，模型会在超参数 κ \kappa