Cross-Modal Retrieval——为什么要使用GAN呢？

最新推荐文章于 2024-10-06 19:51:44 发布
最新推荐文章于 2024-10-06 19:51:44 发布
阅读量1.1k 收藏 4
点赞数 2
分类专栏： Cross-Modal Retrieval GAN 文章标签： Cross-Modal Retrieval
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/songyuc/article/details/103035212
版权

1 致谢

感谢于教授给我发的几篇论文，感到打开了一个新世界！

2 前言

今天在学习 Cross-Modal Retrieval～

在看文章的时候，看到有些比较新的文章是用GAN来做 Cross-Modal Retrieval，感觉到很奇怪，
为什么跨模态检索要用到GAN呢？
从我的直觉看来，不是只要生成合适的本征向量表示两种模态之间的距离就行了吗？
为啥要要用GAN模型呢？
然后在网上查找了一下资料，发现是存在这样一个距离，那就是，

如何找到一个特征子空间，使得具有不同标签的两个Object，不同模态的数据在特征子空间的表示具有可分性；而对于同一个Object，在不同模态下的数据在特征子空间的表示是不具有可分性的（或者说是基本一样的）；

那么这个特征空间的映射器，我们就把它理解为GAN中的生成模型；

songyuc
关注
专栏目录
跨模态ReID论文总结3：GAN网络论文（长期更新）
makabaka的博客
03-06 2901
通过GAN网络的思路也是跨模态ReID 的主流思路之一，具体分为通过对抗网路去区分不同模态的特征和通过对抗网络生成图像两种，前者仅有一篇论文，是基于feature-level的对抗，效果一般，后者既有feature-level也有pixel-level的对抗，生成具体的可视化图像，借鉴风格迁移的cycle GAN或者star GAN的方法，尽可能的消除模态差异，使得任务尽可能转变为单模态任务去处理...
CMU论文解读：基于GAN和VAE的跨模态图像生成
Paper weekly
08-20 3468
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。点击本文底部...
跨模态检索Coupled CycleGAN: Unsupervised Hashing Network for Cross-Modal Retrieval
m0_38102073的博客
02-27 1986
核心思想    本论文是无监督方法，主要由两层循环对抗网络构成，外层的循环对抗网络主要是使不同模态提取更有代表性的公共特征向量，内层循环对抗网络使学的高质量的哈希编码。   外层循环对抗网络： 过程描述：图像通过卷积提取特征作为FrealIF_{real}^IFrealI​,然后通过生成器GfI−>TG_f^{I->T}GfI−>T​（是一个encode->decode...
一文彻底搞懂多模态 - 多模态检索
最新发布
m0_59164520的博客
10-06 1448
多模态检索多模态检索是指利用多种数据模态（如文本、图像、视频、音频等）进行信息检索的技术。它旨在通过整合不同形式的数据，提供更全面、精确和丰富的检索结果，以满足用户多样化的查询需求。接下来分三部分： 单模态检索、多模态检索、跨模态检索，一起来深入了解多模态应用：多模态检索。多模态检索一、单模态检索什么是单模态检索（Single-Modal Retrieval）？单模态检索是指仅涉及单一数据模态（如文本、图像、音频或视频等）的检索技术。在这种检索方式中，用户通过特定模态的查询来检索相同模态下的相关信息。单模态
R2GAN_ Cross-Modal Recipe Retrieval With Generative Adversarial Network
HYY233的博客
12-13 585
R2GAN_ Cross-Modal Recipe Retrieval With Generative Adversarial Network 解决问题：图像到菜谱检索的目标是搜索相关菜谱，这些菜谱以文本形式描述给定的食物图片作为查询的菜肴的制作过程。与此类似，但方向相反，本文解决的是给定原始图像，根据给定食谱烹饪的可能性对食物图像进行排序，实现跨模态检索。 主要思想：R2GAN网络：两个模态...
Cross-modal Retrieval（跨模态检索）
热门推荐
nakaizura
05-03 2万+
前一篇文章整理了多模态融合Multimodal Fusion，最近看到一篇很好的跨模态检索的文章，这篇博客就来整理几篇博主认为idea还不错的跨模态检索。另，如果有其他idea很好的跨模态论文，希望你在文章后面留言！ Cross-modal Retrieval 一般一个跨模态检索过程可以既包括模态表征，模态转换，模态对齐和联合学习（唯独没有模态融合，基本上不需要融合）。 Adversarial ...
《Look, Imagine and Match: Improving Textual-Visual Cross-Modal Retrieval with Generative Models》
黄鑫的博客
08-08 2407
来源：CVPR2018 一、Introduction 第一篇同时利用GAN和Reinforcement Learning(RL)做跨媒体检索的文章。 这个网络可以同时做三个跨媒体的任务：cross-media retrieval，image caption and text-to-image synthesis（对于后两个任务，文章只给出了可视化的结果，没有给出定量的分析）。 这篇文章发表...
Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval 整理笔记
qq_36753329的博客
04-07 2357
Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval from CVPR 2018 abstract 本文采用2个对抗网络来影响不同模态之间的相关性，并将标签作为训练样本，放入生成器生成对应的语义来供其他网络学习。本文采用multi-label的形式来表述label与对象之间的关系(即一个对象可能有多个labe...
cross-module ReID（跨模态人物重识别）论文.rar
03-12
这个部分包含了19篇cross-module ReID 和1篇人脸识别的paper及阅读笔记，从2017-2020目前能找到的所有的跨模态RdID 文章，方便大家使用
Unsupervised Generative Adversarial Cross-modal Hashing
零食的csdn博客
02-25 1594
Unsupervised Generative Adversarial Cross-modal Hashing, AAAI 2018 Motivation Cross-modal hashing 跨模态哈希问题，致力于将各种模态的数据放到一个公共哈希空间中，以更简洁快速地计对跨模态数据进行表达和计算、检索。非监督的方法相比较监督的方法更不用受到初始条件的约束，因此更灵活。但是现存的非监督的方法在计...
GAN汇总
简简单单
12-26 3061
3D-ED-GAN - Shape Inpainting using 3D Generative Adversarial Network and Recurrent Convolutional Networks 3D-GAN - Learning a Probabilistic Latent Space of Object Shapes via 3D Generative-Adversarial...
Adversarial Cross-Modal Retrieval
11-27
基于对抗的跨媒体检索Cross-modal retrieval aims to enable flexible retrieval experience across different modalities (e.g., texts vs. images). The core of crossmodal retrieval research is to learn a common subspace where the items of different modalities can be directly compared to each other. In this paper, we present a novel Adversarial Cross-Modal Retrieval (ACMR) method, which seeks an effective common subspace based on adversarial learning. Adversarial learning is implemented as an interplay between two processes. The first process, a feature projector, tries to generate a modality-invariant representation in the common subspace and to confuse the other process, modality classifier, which tries to discriminate between different modalities based on the generated representation. We further impose triplet constraints on the feature projector in order to minimize the gap among the representations of all items from different modalities with same semantic labels, while maximizing the distances among semantically different images and texts. Through the joint exploitation of the above, the underlying cross-modal semantic structure of multimedia data is better preserved when this data is projected into the common subspace. Comprehensive experimental results on four widely used benchmark datasets show that the proposed ACMR method is superior in learning effective subspace representation and that it significantly outperforms the state-of-the-art cross-modal retrieval methods.
（2021|CVPR，XMC-GAN，对比学习，注意力自调制）用于文本到图像生成的跨模态对比学习
qq_44681809的博客
12-26 325
为改进本文到图像对齐，本文提出 XMC-GAN。它通过多个对比损失来捕捉模态间和模态内的对应关系。它使用注意力自调制生成器，强化文本与图像的对应关系，以及一种对比鉴别器，既进行评判又作为对比学习的特征编码器。
文献翻译和笔记--Cross-Modal Contrastive Learning for Text-to-Image Generation(用于文本到图像生成的跨模态对比学习)
qq_42014059的博客
12-09 1831
CVPR2021 文献下载：CVPR 2021 Open Access Repository 摘要 文本到图像合成系统的输出应该是连贯、清晰、逼真的场景，对其条件文本描述具有高度的语义保真度。我们的跨模态对比生成对抗网络 (XMC-GAN) 通过最大化图像和文本之间的互信息来解决这一挑战。它通过多个对比损失来实现这一点，这些损失捕获了模态间和模态内的对应关系。 XMC-GAN 使用注意力自调制生成器，它强制执行强文本-图像对应，以及一个对比判别器，作为对比学习的评论家和特征编...
什么是跨模态检索 （cross-model retrieval）?以图像、文字跨模态检索为例
artistkeepmonkey的博客
10-16 4322
信息有多种表现形式，例如文字与图片。 如何找到一种模态对应的其他模态的数据？这就是跨模态检索问题。 有论文提出使用场景图来解决这个问题： Cross-modal Scene Graph Matching for Relationship-aware Image-Text Retrieval ...
今日 Paper | 跨模态行人重识别；对抗时尚迁移；学会注意错误等
喜欢打酱油的老鸟
03-12 952
2020-03-11 15:11:09 目录 跨模态行人重识别：共享与特异特征变换算法cm-SSFT GarmentGAN：具有图片真实感的对抗时尚迁移 学习将纹理从服装图像转移到3D人体 学会注意错误 MINA: 非刚性形状对齐的凸混合整数规划 跨模态行人重识别：共享与特异特征变换算法cm-SSFT 论文名称：Cross-modality Person re-iden...
跨模态/多模态 cross-modal
hxxjxw的博客
03-29 5531
模态是指数据的存在形式，比如文本、音频、图像、视频等文件格式。有些数据的存在形式不同，但都是描述同一事物或事件的 常见的多模态问题有 视觉问答：针对图片提问题让计算机回答 多模态建索，用自然语言问句来搜图 ...
【论文笔记】SIFA——基于GAN的双向跨模态无监督域适应框架
zuzhiang的博客
05-25 4900
本文是论文《Unsupervised Bidirectional Cross-Modality Adaptation via Deeply Synergistic Image and Feature Alignment for Medical Image Segmentation》的阅读笔记。 文章提出了一个名为 SIFA（Synergistic Image and Feature Alignment）的无监督域适应框架。SIFA 的代码见 github。SIFA 从图像和特征两个角度引入了对齐的协同融合
XMC-GAN：从文本到图像的跨模态对比学习
LiveVideoStack
06-14 1361
Google提出了一个跨模态对比学习框架来训练用于文本到图像合成的 GAN 模型，用于研究解决生成的跨模态对比损失问题。文 /Han Zhang, Research Scientist ...
deep cross-modal hashing
06-28
### 回答1： 深度跨模态哈希化是一种将不同模态的数据（如图像和文本）映射到低维二进制编码的技术。这种哈希化方法可以用于跨模态检索和多模态数据分析等任务。深度跨模态哈希化通常使用深度神经网络来学习数据的表示，并使用损失函数来优化哈希函数。 ### 回答2： 深交叉模态哈希（Deep Cross-Modal Hashing）是一种用于跨模态查询的哈希方法，主要应用于大规模多媒体数据检索的场景。它可以将不同类型的信息（如图像、文本和视频）编码为紧凑的二进制哈希码，使得哈希码能够在不同模态间保持高质量的相似性。 深交叉模态哈希主要基于深度学习技术实现。通过对不同模态的数据进行编码，使得它们能够在一个统一的空间中表示，并且在该空间内距离越近的点越相似。这样，在哈希过程中，将这些点映射到二进制码空间时，距离较近的点将有更高的概率被映射到相同的哈希编码。这种方法可以提高哈希效率、压缩数据量、降低存储成本及提高检索速度。 在实践中，深交叉模态哈希被广泛应用于图像检索、视频检索和文本检索等领域。通过该方法，可以快速地检索出与查询相关的相似数据，并可以根据哈希码相似度进行排序和筛选。同时，深交叉模态哈希还可以将不同模态的数据相互转化，例如将文本转化为图像，从而在不同领域之间进行有益的交互。相信未来，随着深度学习技术的不断发展，深交叉模态哈希将会有更加广泛的应用。 ### 回答3： 深度交叉模态哈希（deep cross-modal hashing）是一种将多模态数据（如图像、文本、音频等）进行哈希编码的方法。该方法通过将多个模态数据输入到一个深度神经网络中，学习到一个交叉模态表示，然后使用该表示生成哈希编码。相比传统的单模态哈希方法，深度交叉模态哈希能够有效地利用多模态数据之间的关联，提高哈希编码的质量和准确性。 深度交叉模态哈希的具体实现方法通常分为以下几步骤： 1. 多模态数据处理 将多模态数据（如图像、文本、音频等）输入到网络中进行处理，通常使用卷积神经网络或循环神经网络来提取数据的特征。 2. 交叉模态表示学习 将多模态数据提取的特征输入到一个共享的交叉模态表示学习网络中进行训练，该网络将不同模态之间的信息进行交叉融合，并学习到一个交叉模态表示。 3. 哈希编码生成 使用学习到的交叉模态表示生成哈希编码，通常使用如余弦相似度等方法来量化哈希编码的相似度。 深度交叉模态哈希的优点在于能够有效地利用多模态数据之间的相关性，同时可以保留数据的原始特征，有利于后续的数据处理和应用。但是由于网络结构较为复杂，训练和计算成本较高，且对输入数据的质量和数量有一定要求，因此在实际应用中仍需考虑多方面因素。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值