多模态检索Deep Cross-Modal Hashing

最新推荐文章于 2025-03-27 17:06:53 发布
最新推荐文章于 2025-03-27 17:06:53 发布
阅读量9.2k 收藏 28
点赞数 2
分类专栏： 跨模态检索 文章标签： 深度学习 信息检索 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_38102073/article/details/104540018
版权

什么是多模态检索？

现实生活中常有图搜图，文本搜文本，视频搜视频的应用，这些都是单模态检索。多模态检索就是，不同类别之间的搜索，比如用文本搜图，用图搜文本等，这类情况称为多模态检索。

这篇论文的意义？

传统的都是手动提取特征方法，这篇论文将特征提取和二进制码生成一起构成一个端到端的学习过程。

贡献

  • 提出了一个端到端的学习框架

  • 直接离散优化生成二进制编码

  • 实验证明效果很好

网络模型

网络模型

图像卷积部分

结构：
在这里插入图片描述
其实就是类似AlexNet网络，输出是维度是二进制编码长度。

文本部分

结构：
在这里插入图片描述
用Bag-of-words模型向量来表示文本，然后通过两层全连接，输出为二进制编码。

损失函数构建

在这里插入图片描述
其中： S i j S_{ij} Sij​代表相似矩阵，根据标签获取。比如说我们可以认为图像 x i x_i xi​<

最低0.47元/天 解锁文章
一文搞懂多模态检索和跨模态检索
m0_59164304的博客
04-08 734
多模态检索（Multi-Modal Retrieval）强调*多源信息整合，**利用文本、图像、音频、视频等多种模态数据**进行**信息整合与检索**。其目标是**通过不同模态数据的互补性，提供更全面、精确的搜索结果**。例如，当用户输入“落霞与孤鹜齐飞，秋水共长天一色”这样的诗句时，系统能够返回相关的图片、视频片段和音频解说。***相比之下，跨模态检索（Cross-Modal Retrieval）则更加专注于跨模态的语义关联，使用某一模态的信息查询检索另一模态的结果。例如，用文本搜索图片**（文搜图）、用
一文深度解读多模态大模型视频检索技术的实现与使用
阿里云CloudImagine
01-25 2907
自然语言视频检索已上线IMS
从嵌入到生成：一文读懂GENIUS多模态检索革命
最新发布
weixin_46351593的博客
03-27 918
一、任务设置解释📌 用户的输入（查询）是由两部分组成的：查询内容记作qconq_{con}qcon​，可能是图像、文本，或者图文对。比如：一张图片、或一句话、或一张图+一句描述。例子：图像qiq_iqi​、文本qtq_tqt​、图文对qiqt(q_i, q_t)qi​qt​检索指令记作qinstq_{inst}qinst​，说明用户希望返回的目标类型和含义。比如：“找出这张图对应的文字描述”
大模型之多模态检索：原理、技术、应用、挑战和发展方向
m0_56255097的博客
08-31 1563
AI大模型作为人工智能领域的重要技术突破，正成为推动各行各业创新和转型的关键力量。抓住AI大模型的风口，掌握AI大模型的知识和技能将变得越来越重要。学习AI大模型是一个系统的过程，需要从基础开始，逐步深入到更高级的技术。这里给大家精心整理了一份全面的AI大模型学习资源，包括：AI大模型全套学习路线图（从入门到实战）、精品AI大模型学习书籍手册、视频教程、实战学习、面试题等，资料免费分享！
基于机器学习的多模态检索研究
yvonneking1118的博客
06-07 1784
近年来，随着深度学习技术的发展，人们对于多模态数据检索的研究和应用越来越受到关注。然而，多模态数据的特点和其间的异质性导致多模态检索面临诸多挑战。 本文对基于生成对抗网络的多模态检索方法进行了综述和分析，该方法具有以下特点：通过生成器和判别器编码多样数据并学习它们的共性，在特征提取和多模态匹配两个阶段实现自动化。在特征提取阶段，使用深度学习模型，如卷积神经网络和循环神经网络，提取不同类型数据的特征，并采用多任务学习策略，使提取网络最小化误差并获得低维特征表示。在多模态匹配阶段，通过生成对抗网络将不同类型特征
多模态检索技术
u011196187的博客
05-14 631
多模态检索技术
一文彻底搞懂多模态 - 多模态检索
m0_59164520的博客
10-06 4242
多模态检索多模态检索是指利用多种数据模态（如文本、图像、视频、音频等）进行信息检索的技术。它旨在通过整合不同形式的数据，提供更全面、精确和丰富的检索结果，以满足用户多样化的查询需求。接下来分三部分： 单模态检索、多模态检索、跨模态检索，一起来深入了解多模态应用：多模态检索。多模态检索一、单模态检索什么是单模态检索（Single-Modal Retrieval）？单模态检索是指仅涉及单一数据模态（如文本、图像、音频或视频等）的检索技术。在这种检索方式中，用户通过特定模态的查询来检索相同模态下的相关信息。单模态
Cross-modal Retrieval（跨模态检索）
热门推荐
nakaizura
05-03 2万+
前一篇文章整理了多模态融合Multimodal Fusion，最近看到一篇很好的跨模态检索的文章，这篇博客就来整理几篇博主认为idea还不错的跨模态检索。另，如果有其他idea很好的跨模态论文，希望你在文章后面留言！ Cross-modal Retrieval 一般一个跨模态检索过程可以既包括模态表征，模态转换，模态对齐和联合学习（唯独没有模态融合，基本上不需要融合）。 Adversarial ...
deep cross-modal hashing
06-28
深度跨模态哈希化是一种将不同模态的数据（如图像和文本）映射到...这种哈希化方法可以用于跨模态检索和多模态数据分析等任务。深度跨模态哈希化通常使用深度神经网络来学习数据的表示，并使用损失函数来优化哈希函数。
Learning Cross-Modal Retrieval with Noisy Labels--文献笔记和翻译
qq_42014059的博客
12-07 1325
CVPR(2021) 摘要 最近，在深度多模态学习的帮助下，跨模态检索正在兴起。然而，即使对于单模态数据，收集大规模标注良好的数据也是昂贵且耗时的，更不用说来自多种模态的额外挑战。虽然众包注释，例如亚马逊的 Mechanical Turk，可以用来降低标签成本，但导致非专家注释在标签中不可避免地产生噪音。为了应对这一挑战，本文提出了一种通用的多模态鲁棒学习框架 (MRL)，用于使用多模态噪声标签进行学习，以减轻噪声样本并同时关联不同的模态。具体来说，我们提出了一种鲁棒聚类损失（RC...
Fast Cross-Modal Retrieval
qq_41831542的博客
11-07 456
Survey on Fast Cross-Modal Retrieval BackgroundProblem DefinitionDatasetEvaluationPapers1. CVPR 2017 DCMH "Deep Cross-Modal Hashing"IntroductionPipelineNovelty & ContributionImprovement Point2. CVPR 2018 SSAH "Self-Supervised Adversarial Hashing Netwo
deep-cross-modal-hashing：PyTorch中的深度学习交叉模式哈希
02-05
深层交叉模式哈希（torchcmh） torchcmh是一个基于PyTorch构建的库，用于深度学习交叉模式哈希。 包含： 数据可视化 基线方法 多个数据读取API 损失函数API 配置调用 数据集 我自己整理了四个数据集（Mirflickr25k，Nus Wide，MS coco，IAPR TC-12），如果要使用这些数据集，请在数据集包中按自述文件下载mat文件和图像文件。 请阅读数据集包中的“” 模型 您可以创建模型或使用现有模型。 我们支持一些预训练模型，您可以详细了解文件。 依存关系 您需要安装这些软件包才能运行 视觉0.1.8+ pytorch 1.0.0+ tqdm 4
多模态检索、生成和融合
myq2017的博客
04-20 1202
多模态检索、生成和融合 多模态数据是指同源的多种模态数据，例如同一事件的图像描述、文字描述、视频或者音频描述。多模态数据间的互补信息可为相应任务提供丰富的特征表达。 多模态检索 多模态检索，就是使用一种模态数据作为查询来检索另外一种模态数据，输入输出分别为统一实物的不同模态数据。例如，用户可以使用文本来检索相关的图片或者视频等。 多模态检索的通用框架一般是：首先提取不同模态数据的特征，其次基于这些特征表达，利用跨模态间的关系来学习不同模态的共同表示，最后基于学习到的共同表示，通过合适的策略来获得跨模态检
大模型之多模态检索，零基础入门到精通，收藏这一篇就够了
wholeliubei的博客
09-03 1567
常见的方法包括投票机制，加权合并等‍‍‍‍‍‍。早期融合：将不同模态的数据在特征层面进行融合，生成综合特征表示，常见的方法包括特征拼接，加权平均等‍‍‍‍‍‍‍。文本处理：包括分词，去停用词，词嵌入(如Word2Vec，GloVe，BERT等)‍‍‍‍‍‍‍‍‍‍‍‍‍。影像与文本分析：结合医学图像(如X光片，CT扫码)和患者的文本记录进行诊断和病情分析‍‍‍‍‍‍‍。
小学生也能听得懂的大模型 - Transformer 1
2401_85325557的博客
07-29 1277
参考 [小学生也能听得懂的大模型 Transformer 1]
基于深度学习的多模态检索
AI天才研究院
05-21 478
1. 背景介绍 1.1 信息检索的演变 信息检索（Information Retrieval，IR）是指从大规模信息库中找到满足用户需求信息的活动。随着互联网的快速发展，信息检索技术经历了从传统的基于文本的检索到基于内容的检索、基于语义的检索，再到如今的多模态检索的演变过程。
深度学习（一）：Deep Cross-Modal Hashing
qq2285580599的博客
12-07 1478
Deep Cross-Modal Hashing Motivation 1，非监督：不能很好地克服不同模态的壁垒。 2，监督：能好一点克服不同模态的壁垒。 3，深度： a,不是人工提取特征，克服壁垒更进一步。 b,几乎所有这些现有的CMH方法都是基于手工制作的特征。这些手工制作的基于特征的方法的一个缺点是特征提取过程独立于哈希代码学习过程，这意 味着手工制作的特征可能不能最优地兼容与哈希代码学习过程。 4，大多数现有的CMH方法都是通...
让视频搜索更精准~多模态搜索算法
whaosoft143ai的博客
10-28 1005
然而，这种方法的问题在于 LMF 对输入的模态特征维数敏感，而特征降维势必对效果产生影响，因此我们引入基于 Fusion Transformer 的融合方法，通过输入各个模态的原始模态表征并基于 attention 的方式进行充分的融合交互，进一步提升效果。视频帧的表征与封面模态的应用方式相同，如何做好 query - 视频帧之间的跨模态匹配十分重要，早期的匹配方案是先得到单模态的表征模型，然后基于点击数据和人工标注相关性数据做跨模态的对齐，这种方案的缺点在上文已经说明。whaosoft aiot http
评论 9
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值