自监督学习（十一）Unsupervised Visual Representation Learning by Graph-based Consistent Constraints

by Graph-based Consistent Constraints)

Introduction

这篇文章的思路和方法很有趣。在之前我们介绍的自监督学习方法中，有一些是利用聚类方法对网络进行约束，这些方法都是把聚类的某些规则作为网络学习的损失函数，但是这篇文章不一样，这篇文章是以聚类为基础，利用图这一数据结构，在数据中划分出正样本和负样本，然后利用挑选出的正负样本，来训练孪生网路，通过区分一次输入的一对图像是否来自同一类，使网络学习到图像的特征表示。文章发表在ECCV 2016上，论文主页。

Unsupervised Constraint Mining

本文的核心在于如何将为标注的数据标注为正负样本。作者在这里将所有的图像看做是图上的节点，利用cycle consistency挑选正样本，利用geodesic distance挑选负样本。详细的介绍如下：

Positive constraint mining

一句话总结就是，图中能围成闭环的就是正样本。作者使用了n-order k-nearest neighbor的概念，K就表示最近邻中节点的数量，n表示节点i到节点j之间有一个长度为n的有向连接，假设i和j之间连接，那么n就是2。如图所示：

图中红色的部分就是正样本。采用在这种方法选择正样本，即使两张图像是属于同一个类别，经过聚类之后也不一定是一个，因为不同类别之间的图像可能具有很大的差别。但是使用Cycle consistency方法确定正样本，相比于聚类方法，可以更好的挖掘不是直接有连接关系的样本之间的联系。

Negative constraint mining

选择负样本作者采取的方法时候，通过计算两个节点之间的Geodesic distance选择负样本。

直接使用欧几里得距离的话可能会造成选出的图像太相似了，网络学不到什么有用的特征。

Experiments

实验部分，我们只关注其在自监督学习上的性能，这里作者比较了该方法与其他方法在VOC 07分类数据集的精度