基于深度学习的跨模态检索方法

基于深度学习的跨模态检索方法
基本思想
利用深度学习的特征抽取能力，在底层提取不同模态的有效表示，在高层建立不同模态的语义关联。
两个阶段
首先，对不同模态学习单独的表示，然后利用高层网络最大化不同模态表示的相关性。
文献

Ngia[17] 等提出了基于深度网络的跨模态学习方法。该模型考虑了多模态融合学习、跨模态学习和共享表示学习，通过视频、语音识别证实了方法的有效性。

考虑到跨模态数据的关联重点在不同模态的语义相关性，Srivastava[18] 等提出了深度玻尔兹曼机。该方法先对不同模态分别学习底层表示，然后利用高层语义将不同模态表示融合来建立不同模态间的关联。

Andrew[19] 等提出了深度典型相关分析，通过多层深度网络学习复杂的非线性投影，最大化投影后的共同表示的相关性。

Feng[20] 等提出基于跨模态对应自编码器的深度学习模型。该模型通过最小化单模态自编码器的重构误差和不同模态表示层的相关性误差之和，从而将单模态表示学习和模态间的相关性学习集成到一个框架下。

上述方法为无监督学习方法，为了学习更加判别性的表示，Wang[21] 等提出了监督的多模态深度神经网络。该网络由处理图像的卷积网络和处理文本的语言神经网络构成，通过五层的神经网络将不同模态映射到共同的语义空间，然后在语义空间进行不同模态的相似性度量。

在仅仅给出模态的场景类标的前提下，Castrejon[22] 等提出了正则化跨模态深度学习网络，旨在模态差异很大的情况下学习不同模态的共同表示。

综合考虑语义信息，Li[23] 等利用多类标监督信息学习共同的语义空间实现跨模态检索。具体地，对单个模态，该方法使用深度网络学习对应的特征，而将不同模态的共同语义向量作为不同模态相关性的优化目标，实现不同模态的语义关联。

Wang[24] 等利用主题特征表示文档，同时考虑模态内和模态间，通过正则化深度网络来建立不同模态的语义相关性。

基于标签信息，Wei[25] 等则提出了深度语义匹配方法。