Knowledge distillation-知识蒸馏

1. 简介

Knowledge distillation-知识蒸馏（暗知识提取）的概念，通过引入与教师网络（teacher network：复杂、但推理性能优越）相关的软目标（soft-target）作为total loss的一部分，以诱导学生网络（student network：精简、低复杂度）的训练，实现知识迁移（knowledge transfer）。

教师网络teacher：高准确率，但模型很大。
学生网络student：模型小，可以在有限资源下使用。

本文参考2019年《WELL-READ STUDENTS LEARN BETTER: ON THE IMPORTANCE OF PRE-TRAINING COMPACT MODELS》。描述了在NLP方面，Distillation有助于提升模型表现，比传统的pre-training+fine-tuning方法好。这样在实际应用中，我们就可以用非常小的student网络取得很好的表现。

各模型介绍：

我们实验发现PD（Pre-trained Distillation）好于pre-training+fine-tuning (PF)。揭示了Distillation 的好处。PD如下图：

实验结果如下图：PD最好，其次是PF。Basic training（只是基于有label的数据训练）最差。Distillation（蒸馏）基于Unlabeled transfer data进行训练。