【零样本哈希】Transductive Zero-Shot Hashing via Coarse-to-Fine Similarity Mining

Motivation

1、Yang et al提出的zero-shot hashing方法是通过在已知类别和未知类别之间构建一个中间语义向量空间(类别标签的词向量空间)来迁移监督知识。
但是由于已知类别和未知类别的数据分布不同,直接将从已知类别学习到的哈希函数用于未知类别,会引起偏差(projection domain shift problem)【为此,Pachori提出无监督的domain-adaptation模型,通过未知类别的查询数据来更新哈希函数】
另外,该方法是从预训练好的AlexNet中提取图像特征,再通过映射、量化等学习哈希编码。但是这些固定的图像特征不是最优的,我们希望它们能够有保持图像相似性的能力。
2、提出transductive zero-shot hashing,也就是说训练集中也可以包含未知类别的样本,但它们是无标签的。而在现实生活中,由于已知类别更常见,所以也会存在部分无标签的已知类别数据。在TZSH中,有两部分数据:有标签数据(全部来自已知类别),无标签数据(包含已知类别和未知类别)。

Contributions

1、提出 deep transductive zero-shot hashing来解决projection domain shift问题
2、提出coarse-to-fine similarity mining来迁移监督知识
3、实验验证方法的有效性

Methods

Common Semantic Representation via Shared Two-streams Network:
为了将已知类别和未知类别映射到同一语义向量空间,设计了two-stream的网络结构。first-stream处理带标签数据,second-stream处理无标签数据,它们共享参数并且共同训练。

Coarse-to-Fine Similarity Mining:

1)Coarse Similarity Mining:


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
### 回答1: 深度跨模态哈希化是一种将不同模态的数据(如图像和文本)映射到低维二进制编码的技术。这种哈希化方法可以用于跨模态检索和多模态数据分析等任务。深度跨模态哈希化通常使用深度神经网络来学习数据的表示,并使用损失函数来优化哈希函数。 ### 回答2: 深交叉模态哈希(Deep Cross-Modal Hashing)是一种用于跨模态查询的哈希方法,主要应用于大规模多媒体数据检索的场景。它可以将不同类型的信息(如图像、文本和视频)编码为紧凑的二进制哈希码,使得哈希码能够在不同模态间保持高质量的相似性。 深交叉模态哈希主要基于深度学习技术实现。通过对不同模态的数据进行编码,使得它们能够在一个统一的空间中表示,并且在该空间内距离越近的点越相似。这样,在哈希过程中,将这些点映射到二进制码空间时,距离较近的点将有更高的概率被映射到相同的哈希编码。这种方法可以提高哈希效率、压缩数据量、降低存储成本及提高检索速度。 在实践中,深交叉模态哈希被广泛应用于图像检索、视频检索和文本检索等领域。通过该方法,可以快速地检索出与查询相关的相似数据,并可以根据哈希码相似度进行排序和筛选。同时,深交叉模态哈希还可以将不同模态的数据相互转化,例如将文本转化为图像,从而在不同领域之间进行有益的交互。相信未来,随着深度学习技术的不断发展,深交叉模态哈希将会有更加广泛的应用。 ### 回答3: 深度交叉模态哈希(deep cross-modal hashing)是一种将多模态数据(如图像、文本、音频等)进行哈希编码的方法。该方法通过将多个模态数据输入到一个深度神经网络中,学习到一个交叉模态表示,然后使用该表示生成哈希编码。相比传统的单模态哈希方法,深度交叉模态哈希能够有效地利用多模态数据之间的关联,提高哈希编码的质量和准确性。 深度交叉模态哈希的具体实现方法通常分为以下几步骤: 1. 多模态数据处理 将多模态数据(如图像、文本、音频等)输入到网络中进行处理,通常使用卷积神经网络或循环神经网络来提取数据的特征。 2. 交叉模态表示学习 将多模态数据提取的特征输入到一个共享的交叉模态表示学习网络中进行训练,该网络将不同模态之间的信息进行交叉融合,并学习到一个交叉模态表示。 3. 哈希编码生成 使用学习到的交叉模态表示生成哈希编码,通常使用如余弦相似度等方法来量化哈希编码的相似度。 深度交叉模态哈希的优点在于能够有效地利用多模态数据之间的相关性,同时可以保留数据的原始特征,有利于后续的数据处理和应用。但是由于网络结构较为复杂,训练和计算成本较高,且对输入数据的质量和数量有一定要求,因此在实际应用中仍需考虑多方面因素。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值