SMART: Robust and Efficient Fine-Tuning for Pre-trained Natural Language Models

近年来，随着Transformer的出现，NLP领域的重心逐渐向迁移学习转变，也出现了BERT、GPT2等基于非监督学习的大型模型，有很多文章关注如何对其进行有效的预训练，但如何针对下游任务进行微调也是很值得研究的问题。本文介绍一篇2019年底的文章，《SMART: Robust and Efficient Fine-Tuning for Pre-trained Natural Language Models through Principled Regularized Optimization》。

文章针对现有微调方法中存在的在下游任务中过拟合以及遗忘预训练知识的问题，提出了两种微调方法：

• SMoothness-inducing Adversarial Regularization
• Bregman proximal poinT optimization

Smoothness-inducing Adversarial Regularization

这里用到的思想很简单，就是加入一个正则化项嘛，只不过这个正则化项是由对抗训练引出的。
$$\underset{\theta }{\min }F(\theta )=L(\theta )+{\lambda }_s{R}_s(\theta ),$$其中$L(\theta )$是损失函数（对于分类模型来说通常为KL散度或者交叉熵，对于回归模型通常为均方误差），$R_s(\theta )$有两种形式：

• $[\mathrm{A}]:R_s(\theta )=\frac{1}{n}$