Asymmetric Discrete Cross-Modal Hashing
2018 ICMR
XinLuo ShanDong University
要点:
1、利用集合矩阵分解找到不同模态的共享潜在语义空间,得到所有实例在潜在空间中的表示;构造学习过的表示和哈希码来近似语义相似度。
2、使用四步优化方案直接学习哈希码,而不是放松二进制约束,可以避免较大的量化误差问题。
3、采用两步哈希策略对训练集中以外的新样本学习哈希函数,使其具有灵活性。
概念提出:
先进的哈希算法可以分为对称的和非对称的两种。
对称的哈希算法:为数据库和查询集学习相同的哈希函数
非对称哈希算法:为数据库和查询集学习不同的哈希函数
跨模态哈希根据是否利用标签信息可以分为监督和非监督两种。
非监督跨模态哈希:通过对训练数据的模态内和模态间相似度建模,学习能将多模态特征转换为二进制代码的投影。
监督的跨模态哈希:利用可用的监督信息,如语义标签,来学习二进制代码和哈希函数。
CMH的难题:
1、如何构建异源多模态间的相关性
2、离散优化问题
3、大多数算法同时学习哈希码和哈希函数,使学习问题变得复杂和困难。而两步哈希算法只能对单峰数据进行研究,或者不能考虑不同模式之间的相互关系。
哈希码学习的目标函数:
共同潜在表征学习:
语义相似嵌入:
进一步表示哈希码与潜在表征的联系:
核化:X–>φ(X)
最终目标函数:
优化:循环迭代优化U、R、V、B(DCC)
哈希函数学习的目标函数(使用线性回归):
测评:
-
数据集:
-
特征:
每个数据集都包含了图像和文本两种模态。 -
对比算法:
9种跨模态哈希算法:
CVH ,IMH, SCM-seq, LSSH, CMFH, SePH-km, CCQ, FSH,SRSH -
测评指标:
MAP、precision-recall、TopN-precision -
实验内容:
1、在各个数据集上ADCH在测评指标上都显现出优越性
2、ADCH的收敛性很好
3、ADCH对参数λ不敏感
4、ADCH训练时间很短