Learning deep representations by mutual information estimation and maximization

ICLR18的文章，reference100多，算贡献比较大的文章了。

首先介绍一下本文的预备知识点：

本文主要是涉及了一种数据表征方法，无监督的提取出图片中的高维表征。不进行具体任务的训练。

比如我们进行训练之后，固定好训练完的网络，进行分类，聚类等工作的训练。

创新点：

1：利用了互信息最大化输入与高维表征的关联程度。

2：互信息包含了局部互信息，以及全局互信息。

3：使用对抗网络，使得高维表示具有期望先验分布的特性。

4：提出了两种新的衡量表示的方法，MINE（互信息神经预测），NDM（神经依赖衡量）

提出的算法叫DIM（Deep infoMax）

实现上，主要是关注以下两个特点：

一个是互信息最大化，一个是统计约束（期望最后的输出约束于先验分布）

互信息最大化框架：

 

local和global features的这个可以看上图，拿到低层（靠前的）的特征，然后和高层的特征结合。这个结合和我一开始想的还不一样，比如我们提取出来了26*26*128的feature map，这里面相当于128个map，和高层的64的输出结合。所以就是[26,26,128]和[64]结合，文章中的做法是先扩展[64]到[26,26,64]，然后concat得到[26,26,192]，这样相当于每个high level feature（global feature）和纵向的每个位置的128都结合一下，最后得到26*26个score。这样做直观上的感觉就是想要寻求一下128个local的图中共性的和global相符的特征。（因此文章中出现了根据颜色分类这样的问题，也是可以解释的过去的）

这篇文章的结构看paper感觉不是很明显，看代码之后会更加明了。这里面最重要的一个点就是如何计算这个互信息。

这里就用到了另一个方法Mutual Information Neural Estimation（MINE），下一篇我会介绍，开山之作

整个无监督训练的结构conv（4，1）代表kernel size 4 ， stride为1。本质上是对各个层级进行多出的互信息约束。

 

计算loss的代码（需要事先了解MINE的计算方法）

 

class DeepInfoMaxLoss(nn.Module):
    def __init__(self, alpha=0.5, beta=1.0, gamma=0.1):
        super().__init__()
        self.global_d = GlobalDiscriminator()
        self.local_d = LocalDiscriminator()
        self.prior_d = PriorDiscriminator()
        self.alpha = alpha
        self.beta = beta
        self.gamma = gamma

    def forward(self, y, M, M_prime):

        # see appendix 1A of https://arxiv.org/pdf/1808.06670.pdf

        y_exp = y.unsqueeze(-1).unsqueeze(-1)
        y_exp = y_exp.expand(-1, -1, 26, 26)

        y_M = torch.cat((M, y_exp), dim=1)
        y_M_prime = torch.cat((M_prime, y_exp), dim=1)

        Ej = -F.softplus(-self.local_d(y_M)).mean()
        Em = F.softplus(self.local_d(y_M_prime)).mean()
        LOCAL = (Em - Ej) * self.beta

        Ej = -F.softplus(-self.global_d(y, M)).mean()
        Em = F.softplus(self.global_d(y, M_prime)).mean()
        GLOBAL = (Em - Ej) * self.alpha

        prior = torch.rand_like(y)

        term_a = torch.log(self.prior_d(prior)).mean()
        term_b = torch.log(1.0 - self.prior_d(y)).mean()
        PRIOR = - (term_a + term_b) * self.gamma

        return LOCAL + GLOBAL + PRIOR