【无标题】待完结

Abstract

DeepInversion：一种从用于训练深度神经网络的图像分布中合成图像的新方法。

1.无数据：反演教师网络，从随机噪声开始合成class-conditional输入图像，不使用训练数据集上的任何附加信息。
2.优化输入：同时使用存储在教师的batch normalization layers中的信息来规范中间特征图的分布。
3.自适应深度反演Adaptive DeepInversion：提高了合成图像的多样性，最大化教师和学生网络之间的Jensen Shannon散度。

1.Intro

基于知识蒸馏的知识转移方法往往有一个显著的限制：他们假设先前使用的数据集可用，或者可以获得代表先前训练数据集分布的一些真实图像。

而在实践中，对prior training information的要求可能非常严格，同时存在数据隐私安全的问题，共享数据集可能是不可用的。

our work：
1.基于均值和方差（他们可以直接用于训练模型），为dreamed images的中间层活动引入一个正则化术语，因此，我们不需要任何训练数据或元数据来执行训练图像合成。我们的方法能够以高分辨率生成高保真度和逼真度的图像。
2.自适应DeepInvestival：增强生成图像的多样性。利用预训练教师和在训练学生网络之间的分歧，通过合成图像扩大训练集的平均值。这是通过最大化两个网络的响应之间的Jensen Shannon散度来实现的。

2.Related work

3.Method