基于关联特征传播的跨模态检索

摘 要 深度学习的快速发展和关联学习的深度研究，使得跨模态检索的性能有了很大提升.跨模态检索研究面临的挑战是：不同模态的数据在高层语义上具有关联关系，但在底层特征上存在异构鸿沟.现有方法主要通过单个相关性约束将不同模态的特征映射到具有一定相关性的特征空间中来解决底层特征上的异构鸿沟问题.然而，表征学习表明，不同层次的特征在帮助模型最终性能的提升上都会起作用.所以，现有方法学习到的单一特征空间的关联性是弱的，即该特征空间可能不是最优的检索空间.为解决该问题，提出了基于关联特征传播的跨模态检索模型，其基本思想是强化深度网络各层之间的关联性，即前一层具有一定关联的特征经过非线性变化传到后一层，有利于找到使2种模态关联性更强的特征空间.通过在Wikipedia，Pascal数据集上的大量实验验证得到，该方法提升了平均精度均值.

关键词 跨模态检索；特征传播；深度网络；关联学习；深度学习

随着信息大数据的快速发展和增长，图片、文本和音频等不同模态的数据大量产生，且对数据的加工、处理和利用越来越普遍，因此促进了信息技术的发展，尤其是推动了信息检索技术的进展.在进行信息检索时，我们通常会使用一种模态的数据去检索另一种不同模态的数据，而这些不同模态的数据尽管数据的存在形式不同，但描述的是同一物体或同一事件，即它们的语义是相同的，这种检索方式称为跨模态检索.例如：利用有关“放风筝”的文本检索相关的“放风筝”图片，或者利用有关“蝴蝶”的图片检索相关的“蝴蝶”文本等.跨模态检索就是寻找不同模态数据之间的相关关系，最终实现利用某一种模态数据检索语义近似的另一种模态数据，本文研究的是图片与文本之间的跨模态检索.传统模态检索与跨模态检索对比如图1所示&#