[论文阅读-Contrastive Learning（2）] 2018 CVPR Unsupervised Feature Learning via Non-Parametric Instance..

2018 CVPR Unsupervised Feature Learning via Non-Parametric Instance Discrimination

动机

首先这篇文章的任务是做一个无监督的分类，也就是只考虑一个新来的例子是否类似于已有的某个例子（图片），而不考虑语义上它属于哪个分类，说白了也就是新来一张图像，它的特征和哪张现有图像的特征最像。

其次这篇文章用无监督的方法，重点在学习一个特征提取器，使得相似图片的特征更相关，不相关图片的特征更不相关。

第三，这篇文章提出了几种特别有名的方法，包括memory bank和noise-contrastive estimation（NCE）。

方法

与以往图像分类方法中一个类别对应多张图片不同，在这篇文章中，一张图片对应一个类别，训练集中有多少张图片就有多少个类别。测试时输入一张图片，算法只管给出这张图片和训练集中哪张图片最像。本质上和上一篇博客Contrastive learning（1）（后面简称CL（1））中是在做同一件事情。也是要学习一个特征提取器，把输入空间映射到一个特征空间上，相似的输入在特征空间上更相关，与上一篇文章不同的是：

1. 相关性的测度都很简单，但不同。CL（1）中使用欧拉距离表示特征相关性，这篇文章用内积表示特征相关性。

2. 任务不同。CL（1）纯做特征提取，这篇文章特征提取后还要高效找到这个特征和训练集中哪个特征最相似，因此多了一些设计

作者首先比较了参数分类器和非参分类器的区别。

左边的式子是参数分类器的softmax写法，w是分类器的参数，v是输入数据的特征，i是第i个类别，右边对应非参数分类器。作者认为参数分类器就把每个类别的先验知识建模到参数里面去了，无法显式的比较每个实例。因此采取了右边的非参数分类器。tao叫temperature parameter，用来调节分布的集中程度。最后要优化的函数也就是下式：

具体方法（三个点）：

第一点，memory bank

每输入一个v，要和每个类别，也就是每张图片进行比较，也就是要获得vi，作者用一个memory bank来完成这个任务。实际上就是训练的时候每输入一个v，用随机梯度下降优化一次上式，然后将优化后提取的v更新到bank里面对应的v上。与传统参数方法不同的是，这种方法存的是每个例子的特征，而不是一个神经网络的参数。

第二点，noise-contrastive estimation（NCE）

由于该方法把每一张图片都看成一个类别，每次训练的时候都要把所有图片都遍历一遍，很耗费时间，所以作者不遍历所有图片，只遍历m张，这m张是在除这张图片外所有图片中随意抽取。最后m取了4096。

用CL（1）中的说法理解这里，实际上就是在对不相似的样本（负样本进行采样），而正样本仅仅只有自己。NCE实际上就是对所有负样本进行一个随机采样。这样就将[7]中的监督（相似不相似的label）变成了无监督（自己和自己相似，其他的全部不相似）。

第三点，Proximal Regularization

为了加快训练效率收敛速度而设计，未细看。

思考

这篇文章从非参数这个角度阐述了contrastive learning的好处，即不需要预先知道目标的分布，直接用instance的特征去学习训练集的数据分布。是一种判别性的方法，通过判别输入与训练集instance的关系而对输入进行分类。所有核心也还是找到一个特征域，保证instance之间的关系不变。

但问题依然是，contrastive learning都是在instance level研究问题，如何在pixel level研究这个问题？