CONTRASTIVE REPRESENTATION DISTILLATION复现

paper:https://arxiv.org/pdf/1910.10699.pdf

abstract:

问题：
knowledge distillation忽视了structural knowledge
实验结果：
新方法产生了优化，有的时候甚至是test中的top 1

method :
目标：
最大化互信息，让不同的输入尽可能映射到不同的值，相同的输入在T和S模式下映射的值尽可能接近

约定的记法：

很自然的我们想到，通过最大化KL散度能够最大化互信息

接下来，每给1个全等对就有N个不全等对
因此先验概率为：

接下来运用了贝叶斯公式：

然后开始构造互信息的形式：
简单的取对数和拆开

移动，并且求数学期望有

但是由于q(C = 1|T, S) 是未知的，所以作者使用了极大似然估计。我们注意到，这是个概率，所以它的值一定在0-1之间，所以我们找到的函数也应该在0-1之间。常用的有sigmoid，本文中使用的如下：

其中M是数据集的容量
对于拟合的函数，他使用的是：

结合Gibbs不等式，有：

对于N，是确定的了，因此我们如果想要优化其下界，就需要优化右边的数学期望

同时有，想找到一个学生，使得mutual information最大
就有
因此，就陷入了死循环。于是接下来作者进行了一个条件的弱化，

这个不等式成立的条件是因为，右边加上了一个严格的负数，所以依然是成立的。
所以最后的目标就是