[ACL 2022] BERT Learns to Teach: Knowledge Distillation with Meta Learning

[ACL 2022] BERT Learns to Teach: Knowledge Distillation with Meta Learning

Motivation

之前的工作通常训练一个大模型作为teacher，然后保持teacher不动训练student模型来完成teacher模型知识的迁移。然而这种做法有以下缺点：1）teacher不了解student的能力。近来有一些工作通过联合训练teacher和student来引入student-aware的蒸馏，但是这种方法也有提升的空间，因为2）teacher不是为了蒸馏优化的。之前的工作中，teacher通常都是为了自己的推理性能而优化的。然而，teacher不能感知到将其知识迁移给student的需求，这样不是最优的。为了解决这两个问题，我们提出了MetaDistil，一个新的使用meta-learning的蒸馏框架来利用学习过程中student的反馈来提升teacher的知识迁移能力。

Approach (Knowledge Distillation with Meta Learning)

Background

Knowledge Distillation

给定teacher $T$ 和student $S$，以及有标注的训练数据集$\mathcal{D}=\{(x_1,y_1),...,(x_N,y_N)\}$，student的损失函数可以写成下面形式：
$$\begin{array}{c}{\mathcal{L}}_S(\mathcal{D};{\theta }_S;{\theta }_T)=\frac{1}{N}\sum _{i=1}^N[\alpha {\mathcal{L}}_{\tau }(y_{}\end{array}$$