摘要
跨模态数据之间的语义相似性是跨模态检索中的一个瓶颈问题。
现有的基于batch的训练方法有着令人望而生畏的时间复杂度和空间复杂度。
所以我们为跨模态检索提出了低秩双线性相似度度量。
它的原理是:我们通过三联体损失,建立了相对的相似度关系,从而建立了跨模态模型。
它的好处是:
1,通过在hinge loss中设置margin,这种margin是基于标签空间和特征空间的两两相似度。
CMOLRS有效地捕捉了多层的语义关联,并且适应了跨模态数据的语义差异。
2,通过设置低秩限制,相似度函数就能在低秩流形空间进行在线方式学习。
低秩空间使得模型学习过程具有更快的速度和更好的可扩展性,而且提高了模型的通用性。
3,我们提出来fast-CMOLRS,对每一个query施加了多个三联体损失,而不只是一个。
好处是减少了梯度更新的时间和回撤的次数,提高了训练的速度。
与常规方法比较
现有的常规方法,是比较在公共空间内的距离来断定数据的相似度。
然而这种方法不是直接对数据进行排序比较,所以,
1,我们提出了直接进行排序比较的方法。
2,我们的相似度函数是通过三联体集合中的相对相似性来度量的。
并且我们的margin是可以进行自适应调节的,通过特征空间和标签空间。
3,我们采用了在线学习策略,规避了大的计算量负担。
4,我们添加了低秩约束,处理了大量高维数据,有利于降低过拟合风险,
低秩已经被广泛应用于度量和相似度学习当中了。
提出方法
我们分别构建了图像到文本和文本到图像检索的两种模型。这里我们只看一个,就是文本到图像。
我们的算法分为三步:从text query中采用一个或者几个三联体损失,计算适应性的margin,通过
计算梯度来计算W.
- 适应性的相对的相似度
相似度可以表示为这一种形式:
对于检索任务,检索文档的相对顺序比检索文档与查询的绝对相似性更重要。
注意,这里的标签向量是已经进行了l2正则化的。margin也变成可调节的。
可调节的好处就是对于相似和正例和负例,我们给予较小的margin,
对于不相似的正例和负例,我们给予较大的margin.这样,相似的正例和负例就可以忽略,
不相似的就会严格比较,大大提高了训练的速度。
- 低秩流形空间的在线学习
总体的损失函数可以定义为:
两种解决低秩的方法:重复奇异值分解,优化低秩矩阵的因式表示。要不计算复杂度高,
要么数值不稳定。于是我们采用了LORETA.
我们把W分解为两个较小矩阵A和B相乘。W = A*B.
并且我们计算A和B的伪逆的过程也是rank-1时间复杂度的。
- 采样策略
我们可以为一个text query采样一个三联体损失,这就是CMOLRS.
也可以为一个text query采样多个三联体损失,这就是fast-CMOLRS.
采用fast的方式需要找的text query就越少,这样梯度下降的次数就越少,训练的速度就越快,虽然每
一个text query的triplet数增多。
算法框架