现有的度量学习方法大多是为单模态匹配而发展的,不适合异构数据的跨模态匹配,为了解决这个问题,作者提出了一个简单并且具有可解释性的通用的权重框架对于跨模态匹配,使用两个多项书来就算正负样本对的权值,此外,作者在通用权框架下引入了一种新的多项式损失,它分别定义了正信息对和负信息对的权函数,可以有效地从冗余对中选择信息对,并给不同的对分配适当的权重,从而提高性能。
Universal Weighting Framework for CrossModal Matching
rule:随着正样本对的相似度增加,所对应的权值应该减小,随着负样本对的相似度增加,所对应的权值应该增大
我觉得其中的含义就是,当负样本与Anchor的相似度越大,惩罚的力度也应该更大,所以赋予其更大的权值,当正样本与Anchor的相似度增加,说明很容易就能判别出来,所以不需要过多关注
Polynomial Loss for Cross-Modal Matching
在这篇论文中,作者提出里两种不同的函数,
average polynomial loss 和 maximum polynomial loss.