Asymmetric Discrete Cross-Modal Hashing

Asymmetric Discrete Cross-Modal Hashing

2018 ICMR

XinLuo ShanDong University

要点：

1、利用集合矩阵分解找到不同模态的共享潜在语义空间，得到所有实例在潜在空间中的表示；构造学习过的表示和哈希码来近似语义相似度。
2、使用四步优化方案直接学习哈希码，而不是放松二进制约束，可以避免较大的量化误差问题。
3、采用两步哈希策略对训练集中以外的新样本学习哈希函数，使其具有灵活性。

概念提出：

先进的哈希算法可以分为对称的和非对称的两种。
对称的哈希算法：为数据库和查询集学习相同的哈希函数
非对称哈希算法：为数据库和查询集学习不同的哈希函数
跨模态哈希根据是否利用标签信息可以分为监督和非监督两种。
非监督跨模态哈希：通过对训练数据的模态内和模态间相似度建模，学习能将多模态特征转换为二进制代码的投影。
监督的跨模态哈希：利用可用的监督信息，如语义标签，来学习二进制代码和哈希函数。

CMH的难题：

1、如何构建异源多模态间的相关性
2、离散优化问题
3、大多数算法同时学习哈希码和哈希函数，使学习问题变得复杂和困难。而两步哈希算法只能对单峰数据进行研究，或者不能考虑不同模式之间的相互关系。

哈希码学习的目标函数：

共同潜在表征学习:

语义相似嵌入：

进一步表示哈希码与潜在表征的联系：

核化：X–>φ（X)

最终目标函数：

优化：循环迭代优化U、R、V、B（DCC）

哈希函数学习的目标函数（使用线性回归）：

测评：

• 数据集：
  

• 特征：
  每个数据集都包含了图像和文本两种模态。

• 对比算法：
  9种跨模态哈希算法：
  CVH ,IMH, SCM-seq, LSSH, CMFH, SePH-km, CCQ, FSH,SRSH

• 测评指标：
  MAP、precision-recall、TopN-precision

• 实验内容：
  1、在各个数据集上ADCH在测评指标上都显现出优越性
  2、ADCH的收敛性很好
  3、ADCH对参数λ不敏感
  4、ADCH训练时间很短