跨模态图文检索：多模态交互主题增强模型

《Multi-modal Mutual Topic Reinforce Modeling for Cross-media Retrieval》（2014 ACM）

今天分享一篇年代有点久远的文章。这篇文章提出了一个基于主题模型（topic model）的跨模态检索方法M3R。

主要思想

该文的主要思想是建立一个联合的跨模态概率模型，用监督学习的方式，通过跨模态的交互主题强化，自适应地学习一组语义上有意义的潜在主题。

具体一点说，M3R利用的是贝叶斯建模过程，将辅助信息（类别、标签等）纳入这个建模过程中，把语义一直的跨模态主题找出来，从而实现跨模态检索。这里给出了一个例子：

检索的大致过程：输入模态为p的内容，得到模态为q的对应结果。具体过程使先计算所有第q个模态中数据的主题比例，然后使用相似性分数对q模态的数据进行排名。

联合概率计算公式：

实验

表1和表2中可以看出，M3R在两个数据集上都达到了最佳的平均性能。值得注意的是，在NUS-WIDE数据集上，GMA和slim2两个方法在平均MAP值上高于M3R，这是因为NUS-WIDE中一张图像平均仅和7个单词关联（而wiki数据集中为117个），限制了M3R算法的性能。

反思

个人认为M3R倾向于通过相互增强主题来为跨模态的主题赋予较高的优先级，同时还会保留其它特有的情态的主题。这种做法从跨模态检索的角度来看感觉意义不大，而且还会占用一定的存储空间，从而带来浪费。