Cross-Modal Retrieval——为什么要使用GAN呢？

最新推荐文章于 2024-11-29 14:12:12 发布
最新推荐文章于 2024-11-29 14:12:12 发布
阅读量1.1k 收藏 4
点赞数 2
分类专栏： Cross-Modal Retrieval GAN 文章标签： Cross-Modal Retrieval
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/songyuc/article/details/103035212
版权

1 致谢

感谢于教授给我发的几篇论文，感到打开了一个新世界！

2 前言

今天在学习 Cross-Modal Retrieval～

在看文章的时候，看到有些比较新的文章是用GAN来做 Cross-Modal Retrieval，感觉到很奇怪，
为什么跨模态检索要用到GAN呢？
从我的直觉看来，不是只要生成合适的本征向量表示两种模态之间的距离就行了吗？
为啥要要用GAN模型呢？
然后在网上查找了一下资料，发现是存在这样一个距离，那就是，

如何找到一个特征子空间，使得具有不同标签的两个Object，不同模态的数据在特征子空间的表示具有可分性；而对于同一个Object，在不同模态下的数据在特征子空间的表示是不具有可分性的（或者说是基本一样的）；

那么这个特征空间的映射器，我们就把它理解为GAN中的生成模型；

Cross-modal Retrieval（跨模态检索）
nakaizura
05-03 2万+
前一篇文章整理了多模态融合Multimodal Fusion，最近看到一篇很好的跨模态检索的文章，这篇博客就来整理几篇博主认为idea还不错的跨模态检索。另，如果有其他idea很好的跨模态论文，希望你在文章后面留言！ Cross-modal Retrieval 一般一个跨模态检索过程可以既包括模态表征，模态转换，模态对齐和联合学习（唯独没有模态融合，基本上不需要融合）。 Adversarial ...
跨模态检索Coupled CycleGAN: Unsupervised Hashing Network for Cross-Modal Retrieval
m0_38102073的博客
02-27 2046
核心思想    本论文是无监督方法，主要由两层循环对抗网络构成，外层的循环对抗网络主要是使不同模态提取更有代表性的公共特征向量，内层循环对抗网络使学的高质量的哈希编码。   外层循环对抗网络： 过程描述：图像通过卷积提取特征作为FrealIF_{real}^IFrealI​,然后通过生成器GfI−>TG_f^{I->T}GfI−>T​（是一个encode->decode...
R2GAN_ Cross-Modal Recipe Retrieval With Generative Adversarial Network
HYY233的博客
12-13 614
R2GAN_ Cross-Modal Recipe Retrieval With Generative Adversarial Network 解决问题：图像到菜谱检索的目标是搜索相关菜谱，这些菜谱以文本形式描述给定的食物图片作为查询的菜肴的制作过程。与此类似，但方向相反，本文解决的是给定原始图像，根据给定食谱烹饪的可能性对食物图像进行排序，实现跨模态检索。 主要思想：R2GAN网络：两个模态...
跨模态ReID论文总结3：GAN网络论文（长期更新）
makabaka的博客
03-06 3008
通过GAN网络的思路也是跨模态ReID 的主流思路之一，具体分为通过对抗网路去区分不同模态的特征和通过对抗网络生成图像两种，前者仅有一篇论文，是基于feature-level的对抗，效果一般，后者既有feature-level也有pixel-level的对抗，生成具体的可视化图像，借鉴风格迁移的cycle GAN或者star GAN的方法，尽可能的消除模态差异，使得任务尽可能转变为单模态任务去处理...
CMU论文解读：基于GAN和VAE的跨模态图像生成
Paper weekly
08-20 3589
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。点击本文底部...
《Look, Imagine and Match: Improving Textual-Visual Cross-Modal Retrieval with Generative Models》
黄鑫的博客
08-08 2451
来源：CVPR2018 一、Introduction 第一篇同时利用GAN和Reinforcement Learning(RL)做跨媒体检索的文章。 这个网络可以同时做三个跨媒体的任务：cross-media retrieval，image caption and text-to-image synthesis（对于后两个任务，文章只给出了可视化的结果，没有给出定量的分析）。 这篇文章发表...
Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval 整理笔记
qq_36753329的博客
04-07 2410
Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval from CVPR 2018 abstract 本文采用2个对抗网络来影响不同模态之间的相关性，并将标签作为训练样本，放入生成器生成对应的语义来供其他网络学习。本文采用multi-label的形式来表述label与对象之间的关系(即一个对象可能有多个labe...
论文笔记：Cross-modal Contrastive Learning for Multimodal Fake News Detection
Sun_victory的博客
11-29 2441
自学论文笔记
Adversarial Cross-Modal Retrieval
11-27
基于对抗的跨媒体检索Cross-modal retrieval aims to enable flexible retrieval experience across different modalities (e.g., texts vs. images). The core of crossmodal retrieval research is to learn a common subspace where the items of different modalities can be directly compared to each other. In this paper, we present a novel Adversarial Cross-Modal Retrieval (ACMR) method, which seeks an effective common subspace based on adversarial learning. Adversarial learning is implemented as an interplay between two processes. The first process, a feature projector, tries to generate a modality-invariant representation in the common subspace and to confuse the other process, modality classifier, which tries to discriminate between different modalities based on the generated representation. We further impose triplet constraints on the feature projector in order to minimize the gap among the representations of all items from different modalities with same semantic labels, while maximizing the distances among semantically different images and texts. Through the joint exploitation of the above, the underlying cross-modal semantic structure of multimedia data is better preserved when this data is projected into the common subspace. Comprehensive experimental results on four widely used benchmark datasets show that the proposed ACMR method is superior in learning effective subspace representation and that it significantly outperforms the state-of-the-art cross-modal retrieval methods.
（2021|CVPR，XMC-GAN，对比学习，注意力自调制）用于文本到图像生成的跨模态对比学习
qq_44681809的博客
12-26 534
为改进本文到图像对齐，本文提出 XMC-GAN。它通过多个对比损失来捕捉模态间和模态内的对应关系。它使用注意力自调制生成器，强化文本与图像的对应关系，以及一种对比鉴别器，既进行评判又作为对比学习的特征编码器。
文献翻译和笔记--Cross-Modal Contrastive Learning for Text-to-Image Generation(用于文本到图像生成的跨模态对比学习)
qq_42014059的博客
12-09 2086
CVPR2021 文献下载：CVPR 2021 Open Access Repository 摘要 文本到图像合成系统的输出应该是连贯、清晰、逼真的场景，对其条件文本描述具有高度的语义保真度。我们的跨模态对比生成对抗网络 (XMC-GAN) 通过最大化图像和文本之间的互信息来解决这一挑战。它通过多个对比损失来实现这一点，这些损失捕获了模态间和模态内的对应关系。 XMC-GAN 使用注意力自调制生成器，它强制执行强文本-图像对应，以及一个对比判别器，作为对比学习的评论家和特征编...
什么是跨模态检索 （cross-model retrieval）?以图像、文字跨模态检索为例
artistkeepmonkey的博客
10-16 4432
信息有多种表现形式，例如文字与图片。 如何找到一种模态对应的其他模态的数据？这就是跨模态检索问题。 有论文提出使用场景图来解决这个问题： Cross-modal Scene Graph Matching for Relationship-aware Image-Text Retrieval ...
今日 Paper | 跨模态行人重识别；对抗时尚迁移；学会注意错误等
喜欢打酱油的老鸟
03-12 993
2020-03-11 15:11:09 目录 跨模态行人重识别：共享与特异特征变换算法cm-SSFT GarmentGAN：具有图片真实感的对抗时尚迁移 学习将纹理从服装图像转移到3D人体 学会注意错误 MINA: 非刚性形状对齐的凸混合整数规划 跨模态行人重识别：共享与特异特征变换算法cm-SSFT 论文名称：Cross-modality Person re-iden...
跨模态检索综述
qq_40905284的博客
05-30 3731
跨模态检索问题综述
一文彻底搞懂多模态 - 多模态检索
m0_59164520的博客
10-06 4060
多模态检索多模态检索是指利用多种数据模态（如文本、图像、视频、音频等）进行信息检索的技术。它旨在通过整合不同形式的数据，提供更全面、精确和丰富的检索结果，以满足用户多样化的查询需求。接下来分三部分： 单模态检索、多模态检索、跨模态检索，一起来深入了解多模态应用：多模态检索。多模态检索一、单模态检索什么是单模态检索（Single-Modal Retrieval）？单模态检索是指仅涉及单一数据模态（如文本、图像、音频或视频等）的检索技术。在这种检索方式中，用户通过特定模态的查询来检索相同模态下的相关信息。单模态
跨模态检索研究进展综述【跨模态检索的核心工作在于：①不同模态数据的特征提取、②不同模态数据之间内容的相关性度量】【主流研究方法：基于传统统计分析的技术、基于深度学习的技术】【哈希编码提高检索速度】
u013250861的博客
01-18 9110
随着互联网上多媒体数据的爆炸式增长,单一模态的检索已经无法满足用户需求,跨模态检索应运而生. 跨模态检索旨在以一种模态的数据去检索另一种模态的相关数据。 跨模态检索的核心任务是：数据特征提取 和 不同模态数据之间内容的相关性度量。 文中梳理了跨模态检索领域近期的研究进展,从以下角度归纳论述了跨模态检索领域的研究成果.： 传统方法； 深度学习方法； 手工特征的哈希编码方法； 深度学习的哈希编码方法 在此基础上,对比分析了各类算法在跨模态检索常用标准数据集上的性能。最后,分析了跨模态检索研究存在的问题,并对
跨模态检索综述A Survey of Full-Cycle Cross-Modal Retrieval: From a Representation Learning Perspective
zag666的博客
08-26 2320
图1.跨模态检索中的问题和挑战。
跨模态检索的持续学习
zag666的博客
04-02 1557
多模态表示和持续学习是与人类智能密切相关的两个领域。前者考虑了共享表示空间的学习，其中来自不同模态的信息可以进行比较和集成(我们关注语言和视觉表示之间的跨模态检索)。后者研究如何防止在学习新任务时忘记以前学过的任务。虽然人类在这两个方面表现出色，但深度神经网络仍然相当有限。在本文中，我们提出将这两个问题结合到一个连续的跨模态检索设置中，在其中我们研究了新任务引起的灾难性干扰如何影响嵌入空间及其有效检索所需的跨模态对齐。我们提出了一个通用框架，将训练、索引和查询阶段解耦。
图文跨模态检索研究综述
zenRRan的博客
08-26 1418
作者：张振兴，王亚雄来源：《北京交通大学学报》编辑：陈萍萍的公主@一点人工一点智能原文：https://jdxb.bjtu.edu.cn/CN/10.11860/j.issn.1673-0291.20230126摘要：图文跨模态检索作为跨模态计算研究的一个核心课题，一直受到学术界和工业界的高度重视。在过去的几十年里，随着深度学习技术的发展，特别是深度神经网络、Transformer架构以及图文对比...
cross-modal fusion
最新发布
03-23
### 跨模态融合的技术与实现 跨模态融合（Cross-Modal Fusion）是指通过结合来自不同数据源的信息来提升模型性能的一种技术。这种技术广泛应用于视觉-语言表示学习、多感官交互等领域。以下是关于该主题的一些关键技术及其具体实现方式。 #### 多模态数据处理的基础理论 在机器学习领域，多种人工智能技术被用于改进资产定价准确性以及更广泛的多模态数据分析任务[^1]。这些技术包括但不限于机器学习、自然语言处理、深度学习等。其中，深度学习尤其擅长于提取复杂特征并将其映射到统一的空间中以便后续分析。 #### Bridge-Tower 方法论 一篇名为《Bridge-Tower: Building Bridges Between Encoders in Vision-Language Representation Learning》的论文介绍了一种新颖的方法——Bridge-Tower架构[^2]。此方法旨在解决视觉和语言之间的语义鸿沟问题。它通过构建连接两个编码器之间桥梁的方式实现了高效的跨模态信息传递。这种方法不仅提高了下游任务的表现力，还增强了对于未见过样本的理解能力。 #### 实现细节 为了更好地理解如何实际操作 cross-modal fusion，在 Python 中可以采用如下代码框架作为起点： ```python import torch from transformers import BertModel, ViTModel class CrossModalFusion(torch.nn.Module): def __init__(self): super(CrossModalFusion, self).__init__() # 初始化文本编码器 (BERT) self.text_encoder = BertModel.from_pretrained('bert-base-uncased') # 初始化图像编码器 (ViT) self.image_encoder = ViTModel.from_pretrained('google/vit-base-patch16-224-in21k') # 定义全连接层以进行联合嵌入空间投影 self.fc_text = torch.nn.Linear(768, 512) self.fc_image = torch.nn.Linear(768, 512) def forward(self, text_input_ids, image_pixel_values): text_output = self.text_encoder(text_input_ids).last_hidden_state[:,0,:] image_output = self.image_encoder(image_pixel_values).last_hidden_state[:,0,:] fused_text = self.fc_text(text_output) fused_image = self.fc_image(image_output) return fused_text, fused_image ``` 上述代码片段展示了如何利用预训练的语言模型 BERT 和视觉 Transformer 来创建一个多模态融合网络结构。通过对齐两种模式下的隐藏状态向量维度至相同大小后完成初步融合过程。 #### 总结 综上所述，跨模态融合涉及多个子领域的协同工作，从基础算法设计到高级应用开发均需深入研究。无论是基于传统统计学还是现代神经网络驱动方案，其核心目标始终围绕着提高异构数据间关联度展开探索。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值