【零样本知识蒸馏】（七）IJCAI 2021：Contrastive Model Inversion for Data-Free Knowledge Distillation

论文地址：

https://arxiv.org/abs/2105.08584

代码地址：

https://github.com/zju-vipa/DataFree

主要问题：

无数据KD的关键步骤是模型反演，其目标是从预先训练过的教师模型中恢复训练数据。现有的零样本反演方法通过拟合先验分布来独立地优化每个实例，然而这样通常会出现模式崩溃问题，即合成的实例之间高度相似，因此对知识蒸馏等下游任务的效率有限

主要思路：

这篇文章提出了对比模型反转（Contrastive Model Inversion），其中数据多样性被明确地建模为一个可优化的目标，以缓解模式崩溃的问题

实验表明在相同数据量的约束下，较高的数据多样性通常表明有更强的实例辨别能力

为此作者在CMI中引入了一个对比性的学习目标，它鼓励将合成的实例与前几批中已经合成的实例区分开来

其中正图像对包含相同数据实例的裁剪图像和整个图像，而负图像对包含两个不同的数据实例，通过鼓励正图像对相互接近，将负图像对分开分离，CMI显著提高了图像的多样性和真实性，从而提高了无数据KD的性能

基本符号：

模型反演是无数据知识蒸馏的一个重要步骤，旨在从预先训练好的教师模型