【零样本知识蒸馏】(十)CVPR 2021:Large-Scale Generative Data-Free Distillation
论文地址:
https://arxiv.org/abs/2012.05578v1
主要问题:
最近的工作提出了一些解决零样本蒸馏问题的方法,但它们要么非常耗时,要么无法扩展到大型数据集
主要思路:
本文提出了一种利用训练教师网络的内在归一化层统计量来训练生成图像模型,这使我们能够在不训练数据的情况下构建一个生成器集合,这些数据可以有效地生成后续蒸馏的替代输入
具体实现:
Inceptionism loss:
形式上,给定预期的标签 y ^ \hat{y}