Online Fast Adaptive Low-Rank Similarity Learning for Cross-Modal Retrieval

摘要

跨模态数据之间的语义相似性是跨模态检索中的一个瓶颈问题。

现有的基于batch的训练方法有着令人望而生畏的时间复杂度和空间复杂度。

所以我们为跨模态检索提出了低秩双线性相似度度量。

它的原理是：我们通过三联体损失，建立了相对的相似度关系，从而建立了跨模态模型。

它的好处是：

1，通过在hinge loss中设置margin，这种margin是基于标签空间和特征空间的两两相似度。

CMOLRS有效地捕捉了多层的语义关联，并且适应了跨模态数据的语义差异。

2，通过设置低秩限制，相似度函数就能在低秩流形空间进行在线方式学习。

低秩空间使得模型学习过程具有更快的速度和更好的可扩展性，而且提高了模型的通用性。

3，我们提出来fast-CMOLRS，对每一个query施加了多个三联体损失，而不只是一个。

好处是减少了梯度更新的时间和回撤的次数，提高了训练的速度。

与常规方法比较

现有的常规方法，是比较在公共空间内的距离来断定数据的相似度。

然而这种方法不是直接对数据进行排序比较，所以，

1，我们提出了直接进行排序比较的方法。

2，我们的相似度函数是通过三联体集合中的相对相似性来度量的。

并且我们的margin是可以进行自适应调节的，通过特征空间和标签空间。

3，我们采用了在线学习策略，规避了大的计算量负担。

4，我们添加了低秩约束，处理了大量高维数据，有利于降低过拟合风险，

低秩已经被广泛应用于度量和相似度学习当中了。

提出方法

我们分别构建了图像到文本和文本到图像检索的两种模型。这里我们只看一个，就是文本到图像。

我们的算法分为三步：从text query中采用一个或者几个三联体损失，计算适应性的margin，通过

计算梯度来计算W.

• 适应性的相对的相似度

相似度可以表示为这一种形式：

                                          

对于检索任务，检索文档的相对顺序比检索文档与查询的绝对相似性更重要。

                                

                       

  

                          

注意，这里的标签向量是已经进行了l2正则化的。margin也变成可调节的。

可调节的好处就是对于相似和正例和负例，我们给予较小的margin，

对于不相似的正例和负例，我们给予较大的margin.这样，相似的正例和负例就可以忽略，

不相似的就会严格比较，大大提高了训练的速度。

• 低秩流形空间的在线学习

总体的损失函数可以定义为：

      

两种解决低秩的方法：重复奇异值分解，优化低秩矩阵的因式表示。要不计算复杂度高，

要么数值不稳定。于是我们采用了LORETA.

我们把W分解为两个较小矩阵A和B相乘。W = A*B.

并且我们计算A和B的伪逆的过程也是rank-1时间复杂度的。

  

• 采样策略

​​​​​​​我们可以为一个text query采样一个三联体损失，这就是CMOLRS.

也可以为一个text query采样多个三联体损失，这就是fast-CMOLRS.

采用fast的方式需要找的text query就越少，这样梯度下降的次数就越少，训练的速度就越快，虽然每

一个text query的triplet数增多。

算法框架

​​​​​​​

​​​​​​​