Deep Supervised Cross-modal Retrieval,CVPR 2019
Motivation
值得注意的是,即使分类信息已被用于一些深度学习方法,分类信息仅用于学习每一模态内部或模态间的可区分特征。语义信息(语义信息我在这里理解成公共空间到标签的映射)在这些跨模态学习方法中没有得到充分的利用。
DSCMR同时最小化模态不变性损失,并采用权值共享策略在公共表示空间中学习模态不变性特征,为了保证学习的表示法在语义结构上具有辨别性,并且在模态间具有不变性,对两两标签信息和分类信息都尽可能地进行了充分的演绎。
Attributions
- 提出了一种深度监督的跨模态学习结构,通过在端到端同时保留语义识别和模态变化,可以有效地学习异构数据的常用表示。
- 最后一层有权值共享约束的子网络用于学习图像和文本模式之间的交叉模态关联。此外,还将模态不变性损失直接引入到目标函数中,以消除跨模态误差。
- 采用线性分类器对公共表示空间中的样本进行分类,并且最小化标签空间和公共表示空间的识别损失,这使得学习到的共同表象具有显著的区别性。
Related Works
- 学习这种常见表示空间的方法有多种,大致可分为两类: 1)二值表示学习,也称为交叉模态哈希; 2)实值表示学习。由于所述表示被编码为二进制码,因此由于信息的丢失,检索