跨越时空的难样本挖掘

Cross-Batch Memory for Embedding Learning

我们码隆科技在深度度量学习继续深耕，又做了一点点改进的工作，承蒙审稿人厚爱，被CVPR-2020接收为Oral，并进入best paper候选（共26篇文章进入了候选）。本文中我们提出了一个叫做XBM 方法，通过记住过去迭代里的特征，使得模型的训练不再仅仅依靠当前 mini-batch 的样本，而是可以跨越“时空”（mini-batch）构建样本对，从而可以用极小的代价来获得巨量的样本对。

那么，如何完成这场跨越时空的牵线？各位看官，请让我为你徐徐道来，讲讲我们和XBM的缘起。正传请见论文：paper link，代码也给各位奉上：code link。

背景和动机

难例挖掘是深度度量学习领域中的核心问题，最近很多工作都是在改进采样或者加权方案。目前的改进方法主要有两种思路：

第一种思路是在mini-batch内下功夫，对于mini-batch内的样本对，从各种角度去衡量他们的难度， 然后对于难样本对，给予更高的权重，比如N-pair Loss、Lifted Struture Loss、MS Loss就是这种做法；

第二种思路是在mini-batch的生成做文章，比如HTL、divide and conquer，他们的做法虽然看上去各有不同，甚至复杂精妙，但其实大差不差。不严谨地说，大致思路都是对整个数据集进行聚类，每次生成mini-batch不是从整个数据集去采样，而是从一个子集，或者说一个聚类小簇中去采样。这样的做法，由于采样范围本身更加集中，生成的mini-batch中难例的比例自然也会很高。

然而，无论是第一种方法的额外照顾难样本，还是第二种方法的小范围采样，他们对难例的挖掘能力其实依然有一个天花板：mini-batch的大小。 mini-batch的大小决定了在模型中单次迭代更新中，可以利用的样本对的总量。所以，类比厨师做菜，mini-batch的大小就是食材的数量。巧妇难为无米之炊，即便是中华小当家，没有足够的食材，也做不出来闪闪发光的美味呀。

我们在三个标准图像检索数据库上，对于三种标准的pair-based方法，发现随着mini-batch变大，效果(Recall@1)大幅提升。实验结果如下：