Cross-Modal Retrieval

最新推荐文章于 2022-10-18 16:39:43 发布
最新推荐文章于 2022-10-18 16:39:43 发布
阅读量1.6k 收藏 7
点赞数 1
文章标签： 计算机视觉 自然语言处理 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41831542/article/details/109144788
版权
本文探讨了跨模态检索领域的最新进展，重点介绍了ECCV2020和CVPR2020的两篇论文。这两篇论文提出将图像和文本特征映射到共享空间，利用图结构网络捕捉语义关联，以提升图像-文本匹配的性能。文章分析了共识知识和词组关联如何改善匹配准确度，并讨论了未来可能的研究方向。
摘要由CSDN通过智能技术生成

Paper with notes on Cross-Modal Retrieval

Background

这里研究的跨模态检索主要是图像-文本匹配(Image-Text Matching)。跨模态检索模型的输入是两种模态信息（图片和句子），输出是他们的相似度。继而利用模型在一堆图片/句子中挑出与待查询句子/图片最匹配的结果。因此评价指标也通常有Text-Retrieval 和 Image Retrieval两个方面。跨模态检索后的结果为图1所示。
图1(a) Image-Retrieval
图1(b) Text-Retrieval

Mainstream Methods

目前主流的跨模态检索模型，都有一个共同的目标，即将两个模态的数据特征提取到同一特征空间，然后在这特征空间内进行相似度计算。总的来说，不同的模型都进行改进的方法，都在于如何什么提取出更利于匹配的特征，具体来说，模型的pipeline大至如下：

最低0.47元/天 解锁文章
Let's Go G2
关注
《Cross-Modal Retrieval in the Cooking Context__Learning Semantic Text-Image Embeddings》
黄鑫的博客
08-08 1004
论文地址： https://arxiv.org/pdf/1804.11146.pdf​arxiv.org 来源：ACM SIGIR2018（暂未发布源码）     一、Introduction: 文章要做的事情(recipe retreival)： 输入：image（sentence）+dataset 　　　　　输出：sentence（image） rank list 在本文中，我...
Cross-modal Retrieval（跨模态检索）
热门推荐
nakaizura
05-03 2万+
前一篇文章整理了多模态融合Multimodal Fusion，最近看到一篇很好的跨模态检索的文章，这篇博客就来整理几篇博主认为idea还不错的跨模态检索。另，如果有其他idea很好的跨模态论文，希望你在文章后面留言！ Cross-modal Retrieval 一般一个跨模态检索过程可以既包括模态表征，模态转换，模态对齐和联合学习（唯独没有模态融合，基本上不需要融合）。 Adversarial ...
Adversarial Cross-Modal Retrieval
11-27
基于对抗的跨媒体检索Cross-modal retrieval aims to enable flexible retrieval experience across different modalities (e.g., texts vs. images). The core of crossmodal retrieval research is to learn a common subspace where the items of different modalities can be directly compared to each other. In this paper, we present a novel Adversarial Cross-Modal Retrieval (ACMR) method, which seeks an effective common subspace based on adversarial learning. Adversarial learning is implemented as an interplay between two processes. The first process, a feature projector, tries to generate a modality-invariant representation in the common subspace and to confuse the other process, modality classifier, which tries to discriminate between different modalities based on the generated representation. We further impose triplet constraints on the feature projector in order to minimize the gap among the representations of all items from different modalities with same semantic labels, while maximizing the distances among semantically different images and texts. Through the joint exploitation of the above, the underlying cross-modal semantic structure of multimedia data is better preserved when this data is projected into the common subspace. Comprehensive experimental results on four widely used benchmark datasets show that the proposed ACMR method is superior in learning effective subspace representation and that it significantly outperforms the state-of-the-art cross-modal retrieval methods.
（跨模态检索综述）A Comprehensive Survey on Cross-modal Retrieval
HYY233的博客
12-13 4732
A Comprehensive Survey on Cross-modal Retrieval Kaiye Wangy, Qiyue Yiny, Wei Wang, Shu Wu, Liang Wang∗, Senior Member, IEEE 1. 研究现状： 目前跨模态检索主要分为两种方法：(1)real-valued表示学习；(2)binary表示学习。Real-valued表示学习...
《北大Cross-modal retrieval》3.28论文总结
uestc_huhu的博客
03-28 846
课外笔记总结 跨模态检索通常需要将不同模态数据嵌入到一个公共表示空间中，以便进行对齐、比较和融合，但如何找到最佳嵌入空间是一个极其困难的问题。不同模态之间的精细对齐问题，以及多模态预训练的有效架构，这些问题依然具有挑战性，未来多模态方向会向可落地、可迁移、少样本的多模态模型系统展开。 当前多模态数据由于其本身结构和特点（语义抽象 类别细化 非结构化）主要面临三大问题： （一）语义鸿沟 (semantic gap) 指的是计算机表示系统与人类认知系统对同一个概念形成不同描述的差异。 举例：CV中，给个图像，唯
Graph Convolutional Network Hashing for Cross-Modal Retrieval---2019 IJCAI-19（西电）
weixin_49710179的博客
04-01 924
一、Abstract 本文设计了一个语义编码器作为教师模块来指导特征编码过程，也称为学生模块，用于语义信息开发。此外，利用GCN来探索数据点之间的内在相似性结构，这将有助于生成有区别的散列码。 二、本文的贡献 提出了一种新的基于图形卷积网络的跨模态哈希方法来缩小模态差距和提高跨模态检索。 为了充分有效地挖掘语义信息，我们训练语义编码器发现语义相关性，它作为“教师模块”引导特征编码网络学习有区别的和语义丰富的特征。然后利用GCN进一步丰富语义结构特征，获得信标特征，进一步更新编码特征。 三、作者为什么要使
Fast Cross-Modal Retrieval
qq_41831542的博客
11-07 391
Survey on Fast Cross-Modal Retrieval BackgroundProblem DefinitionDatasetEvaluationPapers1. CVPR 2017 DCMH "Deep Cross-Modal Hashing"IntroductionPipelineNovelty & ContributionImprovement Point2. CVPR 2018 SSAH "Self-Supervised Adversarial Hashing Netwo
PL-ranking: A Novel Ranking Method for Cross-Modal Retrieval
02-08
一、跨模态检索（Cross-Modal Retrieval） 跨模态检索的目标是建立不同模态之间的映射关系，比如，通过一张图片找到与之相关的文本描述。跨模态检索在多媒体信息检索领域具有重要的应用价值，尤其是在处理混合媒体...
Deep adversarial metric learning for cross-modal retrieval
02-08
在本文中，探讨的核心议题是多模态检索技术，特别是在不同媒介间（如图像、视频、文本和音频）实现交叉模态检索的方法。多模态检索是一个热门的研究话题，旨在提供一种灵活的检索体验，该体验能够跨越多种媒体数据。...
crossModalRetrieval:原始码-学习
03-23
crossModalRetrieval:原始码-学习
Adaptively Unified Semi-supervised Learning for Cross-modal Retrieval
02-08
标题和描述中提及的研究论文《Adaptively Unified Semi-supervised Learning for Cross-modal Retrieval》涉及的是跨模态检索中的自适应统一半监督学习方法。跨模态检索是指在不同模态（如文本、图像、音频等）之间...
Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval 整理笔记
qq_36753329的博客
04-07 2334
Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval from CVPR 2018 abstract 本文采用2个对抗网络来影响不同模态之间的相关性，并将标签作为训练样本，放入生成器生成对应的语义来供其他网络学习。本文采用multi-label的形式来表述label与对象之间的关系(即一个对象可能有多个labe...
《MHTN: Modal-Adversarial Hybrid Transfer Network for Cross-Modal Retrieval》论文学习
uestc_huhu的博客
03-22 592
摘要 本文提出了一种新的方法 modal-adversarial hybrid transfer network (MHTN)，它提出的主要目的是：实现知识从单模态源域向目标源域进行转移，并学习跨模态的公共表示。 它有端到端两个子网络结构，第一是提出了一种模态共享知识转移子网络，以星型网络结构将知识从源域中的单个模态共同转移到目标域中的所有模态，从而散布与模态无关的补充知识以促进交叉模态共同表示学习。 第二提出了一种模态对抗式语义学习子网，在公共表示生成器与模态鉴别器之间构建对抗训练机制，使通用表示形式对语
Modal-adversarial Semantic Learning Network for Extendable Cross-modal Retrieval 阅读笔记
sunshine__0411的博客
10-23 1406
重点是可扩展的（extendable）：训练和测试集中的实例具有不相交的类。 一个新的框架：Modal-adversarial Semantic Learning Network (MASLN) 模态对抗语义学习网络。MASLN包括两个跨模态重建和模态对抗语义学习的子网络。前者以类嵌入准则作为重构过程中的辅助信息，通过重构各模态数据，最小化跨模态分布差异。后者生成对模态不加区分的语义表征，同时通...
《Cross-modal retrieval常用torch版本loss》总结
uestc_huhu的博客
04-06 525
1.MSE Loss(回归类) 均分误差：Creates a criterion that measures the mean squared error (squared L2 norm) between each element in the input xx and target yy . loss = nn.MSELoss() input = torch.randn(3, 5, requires_grad=True) target = torch.randn(3, 5)
cross-modal retrieval and multi-modal retrieval的区别
march_on的专栏
05-06 3092
与unimodal 检索不同，在cross-modal 检索中，检索结果的模态和查询的模态是不同的。比如，用户使用图像检索文本，视频和音频。cross-modal检索的关键在于对不同模态的关系进行建模，难点就是bridging the semantic gap。 然而，当要检索的文档包含多模态的时候，一般的cross-modal方法就无法直接应用到multi-modal retrieval。 m
A Cross-Modal Image and Text Retrieval Method Based on Efficient Feature Extraction and Interactive
qq_24876435的博客
03-11 4565
基于有效特征提取和交互学习的跨模态图像文本检索 2022年 Scientific Programming 摘要：针对多模态环境的复杂性和现有浅层网络结构无法实现高精度的图文检索，提出一种结合高效特征提取和交互式学习卷积自动编码器CAE的跨模态图像和文本检索方法。首先，改进残差网络卷积核，引入二维主成分分析提取图像特征，通过长短时记忆网络LSTM和词向量提取文本特征，高效提取图特征。基于交互式学习CAE，实现了图像和文本的跨模态检索。其中，图像和文本特征分别输入双模式CAE的两个输入端，通过中间层的...
【CAMP论文笔记】CAMP: Cross-Modal Adaptive Message Passing for Text-Image Retrieval
静如脱兔(⋌▀¯▀)=☞动如脱兔的博客
10-18 756
CAMP: Cross-Modal Adaptive Message Passing for Text-Image Retrieval 着重于细粒度的跨模态信息交互融合，并且自适应地控制信息融合的程度，在MSCOCO和Flickr30k数据集上效果显著
给我推荐20个比流行的多模态模型
最新发布
08-31
7. Cross-Modal Retrieval：用于跨模态检索任务的模型。 8. TRL：基于图像文本关系知识的多模态迁移学习模型。 9. Multi-Channel Compact Bilateral Attention Network：用于视频目标检测的多模态模型。 10. Mixture...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值