[论文阅读]Sequence-Level Knowledge Distillation

---

前言

论文名：Sequence-Level Knowledge Distillation
论文作者：Yoon Kim et.al.
期刊/会议名：EMNLP 2016
本文作者：XMU_MIAO
日期：2020/11/28

摘要

  本文考虑应用知识蒸馏方法(这些方法已被证明能够成功地减小神经模型在其他领域的大小)解决NMT问题。
我们证明了应用于单词级别的的标准知识蒸馏对于NMT是有效的，并且还介绍了两个新的序列级别知识蒸馏方法，这两个方法进一步提高了性能。并且令人惊讶的是，似乎消除了对于$beamsearch$的需要(即使应用于原始的$teacher$模型)。
  我们最好的$student$模型比最先进的$teacher$模型运行速度快10倍，而且几乎没有任何损失。它也明显优于没有经过知识蒸馏训练的基线模型:通过贪婪解码/波束搜索的4.2/1.7 BLEU。在知识蒸馏的基础上应用权重修剪，$student$模型的参数比原来的$teacher$模型少13倍，比原来的$teacher$模型减少0.4个BLEU。

一、Introduction

暂略

二、Distillation

2.1 Knowledge Distillation

  知识蒸馏描述了一类通过向更大的$teacher$模型学习(除了从训练数据集学习之外)来训练更小的$student$网络以使其表现更好的方法。知识蒸馏通过将$student$模型与$teacher$模型的预测结果进行匹配训练。对于分类任务，这一般意味着通过对数$L_2$或交叉熵（$cross-entropy$）匹配分类概率。
  具体地，假设我们要在$(x,y)$形式的数据集上学习一个类别为$V$的多类别分类器。通常的训练准则是最小化训练集中每个样本的$\text{NLL}$： £ N L L ( θ ) = − ∑ k = 1 ∣ V ∣ i { y = k } l o g   p ( y = k ∣ x ; θ ) \pounds_{NLL}(\theta)=-\sum_{k=1}^{|V|}i\{y=k\}log\,p(y=k|x;\theta) £NLL​(θ)=−k=1∑∣V∣​i{ y=k}logp(y=k∣x;θ)其中 i { ∗ } i\{*\} i{ ∗}表示一个指示器，当花括号式子成立时值为1，否则为0。$p$是模型通过参数化$\theta$得到的概率分布。
  在知识蒸馏中，假设已得到$teacher$模型的训练（可能是相同的数据集）得到的概率分布$q(y|x;{\theta }_T)$，不同于最小化与可观测数据（$student$模型的训练集）的交叉熵，知识蒸馏最小化$student$模型与$teacher$模型的交叉熵：$${\pounds }_{KD}(\theta ;{\theta }_T)=-\sum _{k=1}^{|V|}q(y=k|x;{\theta }_T)logp(y=k|x;\theta )$$其中${\theta }_T$参数化了$teacher$模型的概率分布，并在其训练结束后固定不变。该交叉熵的两个概率分布的设置是相同的（如蒸馏温度相同等）。在$q(y|x;{\theta }_T)$上进行训练能够提供更多对$student$模型有用的信息。但是这还不够，由于上述目标函数未在训练集上进行训练，因而通常的做法是在以下两个损失函数之间进行插值：$$\pounds (\theta ;{\theta }_T)=(1-\alpha ){\pounds }_{NLL}(\theta )+\alpha {\pounds }_{KD}(\theta ;{\theta }_T)$$其中$\alpha$是一个混合参数。

2.2 Knowledge Distillation for NMT

2.2.1 Word-Level Knowledge Distillation

  机器翻译系统是直接最小化每一个位置单词的$\text{NLL}$,${\pounds }_{WORD-NLL}$。定义对于一个句子上单词级别的知识蒸馏的损失函数为：$${\pounds }_{WORD-KD}=-\sum _{j=1}^J\sum _{k=1}^{|V|}q(t_j=k|s,t_{<j})logp(t$$