跨模态图文检索：浅谈SPGCM

《Group-Invariant Cross-Modal Subspace Learning》（2016 IJCAI）

研究背景与动机

大多数的跨模态检索方法严重依赖语义标签，而获取语义标签通常都非常昂贵且耗时。因此，作者在这篇文章中提出了一个新的无监督方法SPGCM。这是一个基于子空间的跨模态检索方法，用来发现无监督跨模态学习的最优公共子空间。

方法

具体来说，这篇文章的方法是，通过余弦相似度度量，将类聚类项转化为类CCA（典型相关分析）项，从而得到一个广义的CCA模型。当样本之间的潜在聚类指标相同时，组间对应最大。通过发现潜在的公共子空间，并将数据聚类投影在这个公共子空间中，来学习不同模态的子空间映射。

如图所示，先用CCA将内容相同的异构数据组成对（pair），再构造一个损失函数：
包括pairwise和groupwise所涉及的损失，然后设置一个由经验得到的迭代次数T，在循环更新T次后，得到最终的映射函数。

实验

一共在两个带标签的数据集上进行了实验。

实验结果分析

1.构造子空间，可以允许更大的自由度，避免过拟合；
2.该算法通常会在几次迭代中收敛（本文中T=10），因此时间复杂度往往很小；
3.实验结果表明，SPGCM和另外四种无监督方法相比，检索性能都是最好的。当数据分布较为均衡，或者数据是用深层鉴别特征来描述的时候，SPGCM与最先进的有监督方法相比，也具有很强的竞争力。而且当group数等于实际语义标签类别数时，SPGCM获得最高的MAP得分。

不足之处：SPGCM的检索精度尚不如SCM（语义相关匹配）、CCA3V、JFSSL这些有监督的方法。这也是无监督方法的一个共同的问题。