RepMet: Representative-based metric learning for classification and few-shot object detection (2019)

1. 出处

2019 CVPR
IBM研究团队

2. 问题

当前大多数小样本学习工作主要关注特定领域，比如人脸识别，一般的分类问题。很少有工作关注小样本目标检测问题，这类问题由于图像背景及需要精确定位物体位置变得复杂化。

3. 主要内容

提出了一种新的距离度量学习方法，能够同时学习backbone网络参数，embedding空间和每个训练类别的多模态分布。

用一个有多个模式的混合模型表示每个类，将这些模式的中心作为该类别的表示向量。

为了用少量的训练样本学习一个鲁棒的检测器，作者提出通过DML方法，用一个可以学习计算每个ROI的class posteriors的子网络代替分类头。子网络的输入是ROIs中的特征向量，一个给定ROI的class posterior通过比较它的embedding vector和每个类的表示集合来计算。

为了证明提出的距离度量学习方法的有效性，将DML架构作为分类头与标准的目标检测模型合并。

4. RepMet结构

作者提出了一个子网络结构和对应的损失函数，使得能够训练一个DML Embedding和multi-model混合分布，用于计算产生的embedding空间中的class posterior.作者首先利用DML embedding模型，包括几个全连接层，BN层，ReLU激活函数层。embedding模型的输出是一个向量。

representatives作为N*K*e大小的全连接层地权重被实现，输入是一个固定常量1。对于一个给定图像（或ROI）和它对应的embedding向量E，作者的网络计算N*K距离矩阵，每个元素d_ij是E到每个表示R_ij之间的距离。这些距离用于计算给定图像（或ROI）在每个类别i对应的每个模式j下的可能性。

假设所有类分布是各向同性的多元高斯函数与方差的混合物。在目前的实现中，没有学习混合系数，将判别类后验设为:

计算类i所有模式的混合值中的最大值。条件概率是真实类后验的上界，使用这种近似的原因是对于one-shot检测，在测试时，表示会替换成novel classes的embedding。混合系数与特定的模式有关，在测试室模式会发生改变，因此学习混合系数会变得很没有意义。因此，使用上界能消除估计混合系数的必要。

这部分损失是为了确保E和最近的错误类别的表示之间的距离至少是α。