论文整理1——《基于高阶非局部哈希的无监督跨模态检索》

论文整理1——《基于高阶非局部哈希的无监督跨模态检索》

前言

无监督的跨模态检索需要解决的难点就在于如何在没有标签信息的情况下度量模态间和模态内的相似性。

一、正文

本篇论文拟解决“无监督跨模态散列缺乏可靠的相似性监督”、“如何高效处理不同模态间的异质性”等问题。
采用的是高阶非局部哈希方法，具体而言，就是（1）、引入高阶亲和力度量矩阵；（2）、引入一种通用的表示法来关联不同的模态；（3）、构造能保持亲和力的目标函数，从而生成高质量的二进制代码。

如下图，首先通过深度学习分别提取图像和文本的特征 ，进而分别生成哈希码，并且找到二者的共同特征U。同时利用提取得到的特征构造亲和力矩阵，再进行融合

首先构造高阶非局部亲和力矩阵（使用余弦距离）：

按照以前的方法，构造出来这两个亲和力度量矩阵，接下来就是利用它们作为监督来学习哈希码。接下来就是这篇论文的创新之处了。
首先定义一个运算࿱