论文阅读：深度监督跨模态检索 Deep Supervised Cross-modal Retrieval, CVPR 2019

Deep Supervised Cross-modal Retrieval, CVPR 2019

摘要

跨模式检索旨在实现跨不同模式的灵活检索。跨模式检索的核心是如何衡量不同类型数据之间的内容相似性。在本文中提出了一种新颖的跨模式检索方法，称为深度监督跨模式检索（Deep Supervised Cross-modal Retrieval, DSCMR）。它旨在找到一个通用的表示空间，在其中可以直接比较来自不同模态的样本。具体来说，DSCMR最小化了标签空间和公共表示空间中的鉴别损失（ discrimination loss），以及监督模型学习的判别特征。此外，它同时最小化模态不变性损失（ modality invariance loss），并使用权重共享策略消除公共表示空间中多媒体数据的跨模态差异，以学习模态不变特征。在四个广泛使用的基准数据集上的综合实验结果表明，该方法在交叉模式学习中有效，并且明显优于最新的交叉模式检索方法。

Introduction

Contribution：

• 提出了一个监督的跨模态学习结构作为不同模态的桥梁。它可以通过保留语义的区分性和模态的不变性有效学习到公共的表达。
• 在最后一层开发了两个具有权重共享约束的子网，以学习图像和文本模态之间的交叉模态相关性。 此外，模态不变性损失被直接计算到目标函数中，以消除跨模态差异。
• 应用线性分类器对公共表示空间中的样本进行分类。 这样，DSCM-R 最大限度地减少了标签空间和公共表示空间中的辨别损失，从而使学习到的公共表示具有显着性。
• 进行了很多的实验。

所