Online Collective Matrix Factorization Hashing for Large-Scale Cross-Media Retrieval

Online Collective Matrix Factorization Hashing for Large-Scale Cross-Media Retrieval

2020 SIGIR

Di Wang XiDian University

概要

• 通过开发一种高效的在线优化方法，将CMFH扩展为在线学习模式。它增量地更新哈希函数以适应多模态数据流的变化，同时为当前到达的数据生成哈希码。
• 提出的OCMFH可以在不访问原始旧数据的情况下，随哈希模型的变化动态更新旧数据的哈希码。这样可以很好地匹配新老数据的哈希码，提高检索性能。
• 针对在线哈希学习过程中的均值变化问题，提出了一种零均值策略。

CMFH的原理

• 是基于批处理的
• 目标函数：
  V是潜在语义空间表示，第一项将特征嵌入潜在语义空间，第二项是哈希函数的学习。
  

OCMFH的原理

• 假设训练数据为零中心，则哈希函数可以重写为
  
• 零-均值规格化
  原来的数据为：
  
  当新的数据块到来后，整个数据的均值为：
  
  所以新的数据表示为：
  
  在之后的公式中依然使用$X{m}^{(t)}$代替$\overline{X}{m}^{(t)}$
• 模型更新
  在双模态的情况下的公式为：
  
  改为online形式：
  
• 哈希码更新
  矩阵分解的目标是找到两个乘积尽可能接近原始矩阵的矩阵。因此基矩阵与统一表示的乘积应尽可能接近原始数据矩阵：
  
  
  因此旧数据的统一表示的目标函数为：
  
  由此在不接触旧数据的情况下可得到更新的统一表示V，整个数据集的哈希码随之更新：
  

实验验证

• 数据集：
  MIRFliker：
  image：150-dimensional edge histogram feature
  text：500-dimensional feature by performing PCA on the index vector
  NUS-WIDE：
  image：128-dimensional feature by performing PCA on its 4,096-dimensional deep feature extracted by the Caffe　implementation of　VGG Net
  text：1,000-dimensional　bag-of-words feature
  MSCOCO：
  image： 512-dimensional feature by performing PCA on its　4,096-dimensional deep feature extracted by the Caffe　implementation of VGG Net
  text：512-dimensional　feature by performing PCA on its index vector

………