【WACV 2021】零样本知识迁移的有效性:Effectiveness of Arbitrary Transfer Sets for Data-free Knowledge Distillation
论文地址:
https://arxiv.org/abs/2011.09113
主要问题:
在零样本的情况下,现有的知识蒸馏方法要么迭代地生成一个代表原始训练数据集的合成集,,要么学习一个生成模型来组成这样的中间集,然而这两种方法都涉及到复杂的优化(需要 GAN
https://arxiv.org/abs/2011.09113
在零样本的情况下,现有的知识蒸馏方法要么迭代地生成一个代表原始训练数据集的合成集,,要么学习一个生成模型来组成这样的中间集,然而这两种方法都涉及到复杂的优化(需要 GAN