Mutual Quantization for Cross-Modal Search with Noisy Labels

首先是三幅图的介绍

图a的训练样本是对错混杂的，进行的训练，错误标签会导致不同模态的异质鸿沟加大（原文说的是混淆不同模态的区别性连接），更难学习
图b的测试集，曲线先上后下，下降意味着模型快速拟合了噪声标签，降低了搜索性能
图c是将数据集分成标签好和坏两部分，分别进行训练，然后show the map based on correct labels，map都是先上后下，并且错误标签训练的模型，他的map更低
从b和c，可以得到结论：
1》不论用好坏标签数据训练，都先上后下，并且是先拟合的净数据，再过拟合脏数据
2》测试集的map先上后下，表明从净数据的学习早期占主导地位，然后才是脏数据

文章的创新如下：
1》我们提出了一个基于代理的对比损失（proxy-based contrastive loss），它可以将一个实例的不同模态转换成相应的共性代理代码，有效缩小异质鸿沟
2》通过优先选择损失较小的示例，我们的方法可以有效地利用深度交叉模态网络的记忆效应，并对抗噪声标签的影响。
3》提出了一种互量化损失（mutual quantization loss），以最大限度地提高来自不同模态的模型的一致性，从而可以提高预测代码的质量。

方法

Proxy-based Contrastive Quantization

Confident Example Selection

Optimization

结论