自监督目标检测论文self-EMD阅读报告

self-EMD核心思想

        提出了一个应用于目标检测的自监督表示学习方法——self-EMD，可以直接采用COCO数据集（non-iconic）进行训练，不像传统的方法在ImageNet数据集(iconic-object)上进行训练。利用卷积特征图作为image embedding（一般的自监督学习的方法采用经过感知机后的一位向量作为embedding，损失了空间结构，但是目标检测住主要依赖于空间结构），并使用EMD(Earth Mover’s Distance)（ps：我自称为其是挖地距离）来计算一对embedding之间的相似性。

背景       

        目前很多的自监督学习在Imagenet上做训练通常是拉近同一张图像的距离，拉远不同图像之间的距离，但是这种方法适用于在imagenet这种一张图片上只有单一物体的数据集上[针对ImageNet这种分类数据集（一张图像上一个分类物体）].COCO这种多目标数据集来说就不太适用，因为如果对一张图像是实现裁剪可能得到的是不同的物体.

        而且传统的自监督表示学习的方法常常使用Global Pooling的方法来得到Image Embedding，这就损失了图像的局部与空间信息，在目标检测中图像的不同位置对应了不同的物体，空间结构比较重要。

   

算法

        针对空间结构和局部信息，取消之前传统网络的 全局池化层，用前一层的卷积结果作为输出然后经过1*1卷积直接改变维度，这样来这样就能保存局部与空间信息。

        对于距离的测量，度量两个feature map之间的相似性呢？而且同一个image的不同crop图像可能包含着不同的图像，因此，度量标准就需要在不同的局部patch中能够挑选出最优的匹配并且最小化不相关区域之间的噪声问题。这篇文章应用self-EMD算法来度量。EMD适用于度量结构性表示之间相似性。给定所有元素对之间的相似性，EMD可以在拥有最小损失的结构之间获得最优的匹配。

EMD算法核心

Self-EMD与BYOL不同在于去掉了最后的全局池化层，并采用卷积层替代了MLP head。采用最后的卷积特征图作为image embedding。

Earth Mover’s Distance（EMD算法）用来度量两组加权的obejct或者加权的分布之间的距离。离散版本的EMD已经在最优传输问题（OTP）中已经被广泛的研究。  

对应到我们的图像特征图上就是如下所示：

计算两个特征图之间的挖地距离：