神经网络水印\IP保护（论文解读Data-Free Adversarial Distillation）

看到水印方向的一篇论文，引用了这篇，无数据知识蒸馏，感觉还挺有意思的。如果这篇没有改名字再发的话，那似乎是没有发表的。

首先还是简述一下文章思路：这篇文章通过一个对抗性的训练，利用一个generator来生成后续蒸馏学生模型需要的数据，这一部分的数据又分为easy samples 和hard samples，分别是在教师模型（T）和学生模型（S）上表现相近和相差很远的数据。文章采用Discrepancy去衡量S和T之间的距离。实验表明最后的效果非常好，甚至能媲美一些有数据的蒸馏。并且这个方法还能适用于语义分割。
文章框架分为两个部分（如图），一个部分是imitation，另一部分是generation部分。

但是在这两个部分之前，首先对于Discrepancy有一个估计：
在有数据的情况下，对于T和S之间的估计是

而对应的，如果是生成器G产生的数据，对应的估计是：

当然文章这里说到如果p是一个均匀分布的话，我们就能够用上述的式子去估计实际的Discrepancy（这里我不是很认可，不知道为什么说一定要是均匀分布才行。感觉作者想要表达的是，在实际的数据空间上随机抽样就行，为了模拟随机抽样，所以用均匀分布？但是实际上原本的数据分布我们就是不清楚的，这里反正都是生成器生成的高斯噪声，感觉是怎么样的分布，似乎不是很重要。）

上文说到，我们产生的样本主要有两类，一类是easy samples，由于S在这一类样本上的表现本身已经和T很相似了，所以关注的重点在hard samples上面。我们主要让S在这一类的样本上学习T的知识就行。这一类显然满足：

因此构成估计的上界。于是我们想要优化上界。

Imitation
imitation部分，固定生成器，只让S学习T的知识。
loss function是这样的：

q^s_i 和q^t_i 分别表示S和T的输出。|q^s_i -q^t_i| 的梯度我们如下表示：

（这里感觉说的不是很明确，因为文章中原话是这样的：

Eqn.6就是上面最后一个方程。这个公式里面的梯度应该是只用了T的标签，因为是随机生成的数据，所以没有label。两方面，1，如果只是在easy samples上进行这样的代换的话，那文章也没有设置具体的easy samples和hard samples的界，而且再区分一遍这样的界限然后再计算梯度太麻烦了，计算量很大。2，如果在两类的samples上都这样代换的话，那其实蒸馏只学习到了T的label，具体的置信度都没有学习到，效率很低，失去了蒸馏原本的意义。何况这样的话，loss function放在这里就真的只是装个样子了。感觉可以前期学label ， 后期学 prediction。前期产生的样本确实没有指导意义，但是后面仍保持这样的学习，速度很低。S的效率低收敛太慢了，而且G的学习就是要产生不正常的样本，S的速度慢，G的学习很有可能会飘。不过对这个倒是也有解决：

Generation
loss function本可以直接如下：

但是就像之前说的，S很可能收敛很慢，让G产生的样本非常乱，所以加个log：

让她有自适应性：the gradients of the generator are gradually decayed to zero when discrepancy
becomes large.

总结来说，因为无数据蒸馏这个方向我其实不是很了解，这篇文章虽然有的地方确实有些问题（如果我没理解错的话），比如前面的分布还有梯度，写的稍微有点乱。但是效果很好，甚至赶超某些有数据蒸馏。只是用GAN来生成数据，我想这应该不太可能是第一篇，因为这个想法还是比较普遍，很容易想到的，没有新的点，很容易和别人的文章大差不差。其他的文章我没有太了解，不知道没有发表是不是这个原因，但是看了一下作者配置，也有可能是换了个名字发了？不太清楚了，只看文章，其他不评价吧。