《Group-Invariant Cross-Modal Subspace Learning》(2016 IJCAI)
研究背景与动机
大多数的跨模态检索方法严重依赖语义标签,而获取语义标签通常都非常昂贵且耗时。因此,作者在这篇文章中提出了一个新的无监督方法SPGCM。这是一个基于子空间的跨模态检索方法,用来发现无监督跨模态学习的最优公共子空间。
方法
具体来说,这篇文章的方法是,通过余弦相似度度量,将类聚类项转化为类CCA(典型相关分析)项,从而得到一个广义的CCA模型。当样本之间的潜在聚类指标相同时,组间对应最大。通过发现潜在的公共子空间,并将数据聚类投影在这个公共子空间中,来学习不同模态的子空间映射。
如图所示,先用CCA将内容相同的异构数据组成对(pair),再构造一个损失函数:
包括pairwise和groupwise所涉及的损失,然后设置一个由经验得到的迭代次数T,在循环更新T次后,得到最终的映射函数。
实验
一共在两个带标签的数据集上进行了实验。
实验结果分析
1.构造子空间,可以允许更大的自由度,避免过拟合;
2.该算法通常会在几次迭代中收敛(本文中T=10),因此时间复杂度往往很小;
3.实验结果表明,SPGCM和另外四种无监督方法相比,检索性能都是最好的。当数据分布较为均衡,或者数据是用深层鉴别特征来描述的时候,SPGCM与最先进的有监督方法相比,也具有很强的竞争力。而且当group数等于实际语义标签类别数时,SPGCM获得最高的MAP得分。
不足之处:SPGCM的检索精度尚不如SCM(语义相关匹配)、CCA3V、JFSSL这些有监督的方法。这也是无监督方法的一个共同的问题。