Comprehensive Distance-Preserving Autoencoders for Cross-Modal Retrieval

摘要

这是无监督跨模态的一个早期的工作，之前的无监督方法主要考虑拉近属于同一对象的两两关系。而我们的方法不仅考虑了pairwise关系，也考虑了同模态和不同模态的距离。

我们的方法主要包括四个部分：

1，去噪自编码器。取出SIFT提取特征中的噪声。

2，全面的保持距离的公共空间。学习公共空间，使得模态内和模态间的信息在这个公共空间得到保持。

3，共同的损失函数。去噪损失函数+pair的损失+不pair的与原空间对比的损失。

4，一种无监督的跨模态相似度度量方式。

提出方法

• 去噪自编码器

                   

                     满足，

后面的时候，用的是简化的F.

• 综合保持距离的公共空间 

1 - 余弦相似度表示距离：

             

                 

pair的相似度：

                                           

不pair的模间相似度：

                             

                                     满足，

 不pair的模内相似度：

                             

• 联合损失函数

                 

• 无监督度量方式

   

 分别代表 v 和 t 的 k 个最近邻点。

                                       

                              

P在这里代表相似度。

（这里区别DGCPN，DGCPN里面把v和t糅合成一个节点，然后取k近邻，这里是分别对v和t取k近邻。）

图示