【零样本知识蒸馏】（八）CVPR 2020：Dreaming to Distill: Data-free Knowledge Transfer via DeepInversion

论文地址：

https://arxiv.org/abs/1912.08795

代码地址：

https://github.com/NVlabs/DeepInversion

主要思路：

这篇文章介绍了深度倒置（DeepInversion），一种新的方法合成图像从图像分布用于训练一个深度神经网络，即我们“倒置”一个训练过的网络（教师），从随机噪声开始合成类条件输入图像，而不使用训练数据集上的任何额外信息

为了保持教师的固定性，我们的方法优化了输入，同时使用存储在教师的批处理归一化层中的信息来正则化中间特征映射的分布

此外，我们利用自适应深度倒置技术改进了合成图像的多样性，从而最大化了师生网络输出的 logits 之间的 JS 差异，并在CIFAR-10和ImageNet数据集上训练的网络合成图像显示出高保真度和真实性，并有助于实现新的无数据应用——不需要任何真实图像或标记数据

基本符号：

知识蒸馏：

一般的知识蒸馏损失我们记作：