深度嵌入学习“Sampling Matters in Deep Embedding Learning”

知乎专栏：https://zhuanlan.zhihu.com/p/27748177

在检索和验证任务中，经常使用contrastive 损失或 triplet损失作为损失函数，大多数论文也主要关注如何选取损失函数，这篇论文认为训练样本的选取也很重要。提出了distance weighed sampling,选取信息量更大更稳定的训练样本。此外，提出了margin based loss，效果更好。

深度嵌入学习的一般流程：

先验知识回顾

contastive损失：

三元损失：

对于contrastive损失，困难负样本挖掘可以帮助更快收敛。但对于三元损失来说，困难负样本易导致collapse。FaceNet提出了挖掘半困难负样本的方法：给定anchor-positive对，在batch中，通过如下关系选择负样本