Online Cross-Modal Hashing for Web Image Retrieval（OCMH）--文献翻译

摘要

跨模态哈希（CMH）是一种用于快速检索网络图像数据的有效技术，最近引起了很多关注。然而，传统的 CMH 方法通常应用批量学习来生成哈希函数和代码。它们对于检索通常具有流式传输方式的网络图像效率低下。在线学习可用于 CMH。但是现有的在线哈希方法仍然不能解决两个本质问题：哈希码的高效更新和跨模态相关性分析。在本文中，我们提出了在线跨模式哈希（OCMH），它可以通过学习共享潜在代码（SLC）有效地解决上述两个问题。在 OCMH 中，哈希码可以用永久 SLC 和动态传输矩阵来表示。因此，哈希码的低效更新转化为 SLC 和转移矩阵的高效更新，时间复杂度与数据库大小无关。此外，SLC 被所有模态共享，因此它可以编码潜在的跨模态相关性，这进一步提高了异构数据之间的整体跨模态相关性。在两个真实世界的多模态网络图像数据集：MIR Flickr 和 NUS-WIDE 上的实验结果证明了 OCMH 用于在线跨模态网络图像检索的有效性和效率。

1、介绍

        Web图像是典型的多模态数据，由视觉内容、文本标签等多种信息类型组成。跨模态哈希 (CMH) (Song et al. 2013; Zhang and Li 2014; Xie et al. 2015) 在快速检索网络图像数据方面获得了很多关注。 CMH 结合了跨模态分析（Costa Pereira et al. 2014; Zhai, Peng, and Xiao 2013; Xie, Pan, and Lu 2015）和散列技术（Weiss, Torralba, and Fergus 2009; Zhang et al. 2010）的优势; Zhu, Shen, and Xie 2015)，它可以有效地解决异质模态的检索。

        CMH方法的基本思想是将来自不同模态的信息投影到一个统一的哈希空间中，其中汉明距离可以作为度量距离的度量。他们经常通过批量学习在离线过程中学习哈希函数。然后通过学习的哈希函数计算所有数据库数据的哈希码。

        因此，现有的 CMH 方法可能无法在在线现实世界网络图像检索的环境下取得良好的性能，在这种环境下，它们通常忽略数据通常以流方式到达。随着时间的推移，在线图片（例如 Flickr 和 Google 上的图片）迅速增加。例如，用户每天将数百万张新图片上传到 Flickr。如果将新图像添加到 Web 数据库中，现有的 CMH 方法必须累积所有数据库数据以重新训练新的哈希函数，并重新计算整个数据库的哈希码。它们在哈希函数和代码的学习过程中显然效率低下，尤其是在数据库频繁更新的情况下。在线哈希技术（Huang, Yang, and Zheng 2013）作为一种新兴技术，可用于应对流式数据库的在线检索。然而，现有的在线哈希方法不能直接应用于网络图像的跨模态检索，因为它们忽略了两个基本问题：

        现有的在线哈希方法在更新哈希码时效率低下。他们只关注哈希函数的在线学习，而忽略了哈希码的高效更新。在一般的在线散列过程中，当新数据到达时，可以有效地重新训练散列函数。但是，哈希函数的变化会导致汉明空间的变化。为了使新旧数据有效匹配，需要对整个数据库进行累加，通过更新后的哈希函数计算出新的哈希码。因此，更新哈希码的时间复杂度取决于整个数据库的大小，在在线场景下显然是非常低效的。对于一种有效的在线哈希方法，哈希码的更新时间必须与数据库大小无关。

        跨模态相关性不通过在线哈希分析。跨模态相关性描述了不同模态之间的关系，因此它在跨模态检索中起着重要作用。由于众所周知的不同模态之间的语义差距，跨模态相关性很难分析。而且，随着数据库的变化，异构数据之间的相关性也发生了变化。不断变化的跨模态相关性分析对在线哈希方法提出了很大的挑战。

        在本文中，我们提出了在线跨模式散列（OCMH）用于快速检索流网络图像。为了解决上述两个问题，OCMH 将所有模态的哈希码分解为共享潜码（SLC）和传输矩阵。在在线学习过程中，SLC 可以通过保留其旧代码进行增量更新，并且可以通过动态转移矩阵保留来自新数据的改进信息。结果，哈希码的低效更新转化为 SLC 的有效更新。此外，SLC 由不同的模态共享，因此它可以编码潜在的跨模态相关性，这与 OCMH 中的基本跨模态相关性相结合。因此，OCMH 可以彻底分析在线学习过程中的跨模态相关性。本文的贡献如下：

        

1、我们提出了 OCMH，它在图像以流方式到达的在线场景中是有效的。与以前的在线哈希方案无法有效更新哈希码不同，OCMH 可以通过优化 SLC 和传输矩阵来在线更新它们。

2、OCMH 特别考虑了在线学习过程中的跨模态相关性。 SLC 可以对潜在的交叉模态相关性进行编码，从而改进了 OCMH 的交叉模态分析。因此，OCMH可以有效解决异构模态的检索，同时也保证了学习效率。

3、实验结果证明了 OCMH 与其他跨模式散列和在线散列方法相比的有效性和效率。

相关工作

        跨模态哈希

        近年来，许多努力都致力于跨模式散列（CMH）。大多数 CMH 方法侧重于通过跨模态/多模态技术分析异质数据之间的跨模态相关性（Zhu et al. 2015）。 Cross-View Hashing (CVH) (Kumar and Udupa 2011) 通过为它们学习相似的哈希码来关联不同的模态。 Inter-Media Hashing (IMH) (Song et al. 2013) 通过媒体间和媒体内一致性对跨模态相关性进行建模。潜在语义稀疏散列 (LSSH) (Zhou, Ding, and Guo 2014) 首先分别学习图像和文本的潜在语义特征，然后将学习到的潜在特征在统一的哈希空间中关联起来。集体矩阵分解散列 (CMFH) (Ding, Guo, and Zhou 2014) 使用集体矩阵分解 (Singh and Gordon 2008) 来获得可以关联不同模态的联合散列码。一些 CMH 方法还考虑了哈希码对多模态数据的量化效果。语义相关最大化 (SCM) (Zhang and Li 2014) 采用顺序学习 (Wang, Kumar, and Chang 2012) 来提高哈希码的性能。量化相关散列 (QCH) (Wu et al. 2015) 考虑了跨模态相关的量化损失。

        由于散列技术的优势，CMH方法在搜索过程中是高效的。然而，大多数他们在学习过程中效率不高。 SCM 和线性跨模态散列 (LCMH) (Zhu et al. 2013) 改进了线性时间复杂度的学习过程。但它们仍然是基于批量学习的方法，不适合在线场景。据我们所知，目前没有使用在线学习哈希函数或代码的 CMH 方法。

         在线哈希

        在线哈希利用在线学习（Liberty 2013）进行哈希处理，在现实世界的应用中是实用的，但到目前为止还没有太多关于它的研究（Wang et al. 2014）。 (Jain et al. 2009) 的研究可能是第一次尝试使用在线学习进行哈希，它首先设计了在线度量学习算法，然后更新改变的哈希码。但是，更改哈希码的搜索时间取决于整个数据库的大小。 Online Kernel-based Hashing (OKH) (Huang, Yang, and Zheng 2013) 和 Online Sketching Hashing (OSH) (Leng et al. 2015) 都在在线过程中学习哈希函数。但是，他们无法在线更新哈希码。在每轮更新中，由于哈希函数发生了变化，它们必须将所有的数据库数据累积起来重新计算哈希码，这显然是低效的。

        简要比较

        表 1 比较了三种散列技术的学习时间，其中 N 是数据库大小，Nt 是新数据大小，Nt ? N. 表 1 表明 OCMH 是最有效的，在线哈希（例如 OSH）是部分有效的，而 CMH（例如 CVH）对于在线 Web 图像检索效率低下。

        在线跨模态哈希方法

        OCMH 的图示如图 1 所示。每种模态的散列码由 SLC H 和可变矩阵 Vm 构成。然后将低效的哈希码更新转化为在线学习 H 和 Vm。在在线学习过程中，H的旧部分是永久的，只有新的代码被添加到H中。

        算法1：在时间和内存成本上都是有效的。在每一轮中，矩阵 CH, Em, Cm, Cmn,Vm 被保留用于下一轮的更新。这些矩阵的大小仅与特征维度和哈希码长度有关，因此它们非常小，占用的内存空间也不多。此外，我们已经讨论过 Wm、Vm 和 H 的更新与新数据大小成线性关系。由于Titer很小，整个优化算法的时间复杂度为O(Nt)，与新的数据大小成线性关系。因此，我们可以期待一个稳定的学习时间，这与任何轮次的数据库大小无关。

 1、哈希函数学习

2、目标函数

3、SLC和哈希函数的目标函数

 

 结论：

        在本文中，我们提出了 OCMH 用于有效和高效地检索多模态网络图像。 OCMH 优于传统的 CMH 在于它可以有效地在线学习流式网络数据。此外，它还特别考虑了哈希码的高效更新，这是以前的在线哈希方法无法解决的。 OCMH 通过将哈希码的更新转化为 SLC 和传输矩阵的有效更新来解决哈希码的更新问题。此外，SLC 编码了潜在的跨模态相关性，可以提高跨模态分析的效果。然后，提出了一种时间复杂度与数据库大小无关的高效在线优化算法，用于更新SLC和hash 299函数。两个网络图像数据集的实验结果证明了 OCMH 的有效性和效率。

        

        简单的来说，就是在线跨模态哈希基于在线流式数据高效地更新哈新函数。通过优化长期的共享潜在表示码和动态转移矩阵来学习最终的哈希码，以实现在线跨模态检索技术