论文浅尝 - ICLR2021 | 从信息论的角度提高语言模型的鲁棒性

笔记整理 | 胡楠，东南大学

---

来源：ICLR 2021

论文下载地址：https://arxiv.org/pdf/2010.02329.pdf

动机

最近的研究表明，BERT和RoBERTa这种基于BERT的模型容易受到文字对抗攻击的威胁。论文旨在从信息理论的角度解决此问题并提出InfoBERT，这是一种用于对预训练语言模型进行健壮微调的新颖学习框架。InfoBERT包含两个用于模型训练的基于互信息的正则器：（i）Information Bottleneck regularizer，用于抑制输入和特征表示之间的嘈杂的互信息；（ii）Anchored Feature regularizer，可增加局部稳定特征和全局特征之间的相互信息。论文提出一种方法可以从理论上分析和提高标准训练和对抗训练中语言模型的鲁棒性。大量实验表明，InfoBERT在自然语言推理（NLI）和问题解答（QA）任务的多个对抗性数据集上均达到了最先进的鲁棒准确性。

贡献

论文的贡献总结如下。（i）从信息论的角度提出了一种新颖的学习框架InfoBERT，旨在有效地提高语言模型的鲁棒性