Cross-Modal Retrieval——为什么要使用GAN呢？

最新推荐文章于 2023-12-26 21:04:55 发布
最新推荐文章于 2023-12-26 21:04:55 发布
阅读量1.1k 收藏 4
点赞数 2
分类专栏： Cross-Modal Retrieval GAN 文章标签： Cross-Modal Retrieval
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/songyuc/article/details/103035212
版权

1 致谢

感谢于教授给我发的几篇论文，感到打开了一个新世界！

2 前言

今天在学习 Cross-Modal Retrieval～

在看文章的时候，看到有些比较新的文章是用GAN来做 Cross-Modal Retrieval，感觉到很奇怪，
为什么跨模态检索要用到GAN呢？
从我的直觉看来，不是只要生成合适的本征向量表示两种模态之间的距离就行了吗？
为啥要要用GAN模型呢？
然后在网上查找了一下资料，发现是存在这样一个距离，那就是，

如何找到一个特征子空间，使得具有不同标签的两个Object，不同模态的数据在特征子空间的表示具有可分性；而对于同一个Object，在不同模态下的数据在特征子空间的表示是不具有可分性的（或者说是基本一样的）；

那么这个特征空间的映射器，我们就把它理解为GAN中的生成模型；

跨模态检索Coupled CycleGAN: Unsupervised Hashing Network for Cross-Modal Retrieval
m0_38102073的博客
02-27 2032
核心思想    本论文是无监督方法，主要由两层循环对抗网络构成，外层的循环对抗网络主要是使不同模态提取更有代表性的公共特征向量，内层循环对抗网络使学的高质量的哈希编码。   外层循环对抗网络： 过程描述：图像通过卷积提取特征作为FrealIF_{real}^IFrealI​,然后通过生成器GfI−>TG_f^{I->T}GfI−>T​（是一个encode->decode...
Cross-modal Retrieval（跨模态检索）
nakaizura
05-03 2万+
前一篇文章整理了多模态融合Multimodal Fusion，最近看到一篇很好的跨模态检索的文章，这篇博客就来整理几篇博主认为idea还不错的跨模态检索。另，如果有其他idea很好的跨模态论文，希望你在文章后面留言！ Cross-modal Retrieval 一般一个跨模态检索过程可以既包括模态表征，模态转换，模态对齐和联合学习（唯独没有模态融合，基本上不需要融合）。 Adversarial ...
R2GAN_ Cross-Modal Recipe Retrieval With Generative Adversarial Network
HYY233的博客
12-13 606
R2GAN_ Cross-Modal Recipe Retrieval With Generative Adversarial Network 解决问题：图像到菜谱检索的目标是搜索相关菜谱，这些菜谱以文本形式描述给定的食物图片作为查询的菜肴的制作过程。与此类似，但方向相反，本文解决的是给定原始图像，根据给定食谱烹饪的可能性对食物图像进行排序，实现跨模态检索。 主要思想：R2GAN网络：两个模态...
跨模态ReID论文总结3：GAN网络论文（长期更新）
makabaka的博客
03-06 2986
通过GAN网络的思路也是跨模态ReID 的主流思路之一，具体分为通过对抗网路去区分不同模态的特征和通过对抗网络生成图像两种，前者仅有一篇论文，是基于feature-level的对抗，效果一般，后者既有feature-level也有pixel-level的对抗，生成具体的可视化图像，借鉴风格迁移的cycle GAN或者star GAN的方法，尽可能的消除模态差异，使得任务尽可能转变为单模态任务去处理...
CMU论文解读：基于GAN和VAE的跨模态图像生成
Paper weekly
08-20 3562
在碎片化阅读充斥眼球的时代，越来越少的人会去关注每篇论文背后的探索和思考。在这个栏目里，你会快速 get 每篇精选论文的亮点和痛点，时刻紧跟 AI 前沿成果。点击本文底部...
《Look, Imagine and Match: Improving Textual-Visual Cross-Modal Retrieval with Generative Models》
黄鑫的博客
08-08 2444
来源：CVPR2018 一、Introduction 第一篇同时利用GAN和Reinforcement Learning(RL)做跨媒体检索的文章。 这个网络可以同时做三个跨媒体的任务：cross-media retrieval，image caption and text-to-image synthesis（对于后两个任务，文章只给出了可视化的结果，没有给出定量的分析）。 这篇文章发表...
Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval 整理笔记
qq_36753329的博客
04-07 2397
Self-Supervised Adversarial Hashing Networks for Cross-Modal Retrieval from CVPR 2018 abstract 本文采用2个对抗网络来影响不同模态之间的相关性，并将标签作为训练样本，放入生成器生成对应的语义来供其他网络学习。本文采用multi-label的形式来表述label与对象之间的关系(即一个对象可能有多个labe...
文献翻译和笔记--Cross-Modal Contrastive Learning for Text-to-Image Generation(用于文本到图像生成的跨模态对比学习)
qq_42014059的博客
12-09 2033
CVPR2021 文献下载：CVPR 2021 Open Access Repository 摘要 文本到图像合成系统的输出应该是连贯、清晰、逼真的场景，对其条件文本描述具有高度的语义保真度。我们的跨模态对比生成对抗网络 (XMC-GAN) 通过最大化图像和文本之间的互信息来解决这一挑战。它通过多个对比损失来实现这一点，这些损失捕获了模态间和模态内的对应关系。 XMC-GAN 使用注意力自调制生成器，它强制执行强文本-图像对应，以及一个对比判别器，作为对比学习的评论家和特征编...
Adversarial Cross-Modal Retrieval
11-27
基于对抗的跨媒体检索Cross-modal retrieval aims to enable flexible retrieval experience across different modalities (e.g., texts vs. images). The core of crossmodal retrieval research is to learn a common subspace where the items of different modalities can be directly compared to each other. In this paper, we present a novel Adversarial Cross-Modal Retrieval (ACMR) method, which seeks an effective common subspace based on adversarial learning. Adversarial learning is implemented as an interplay between two processes. The first process, a feature projector, tries to generate a modality-invariant representation in the common subspace and to confuse the other process, modality classifier, which tries to discriminate between different modalities based on the generated representation. We further impose triplet constraints on the feature projector in order to minimize the gap among the representations of all items from different modalities with same semantic labels, while maximizing the distances among semantically different images and texts. Through the joint exploitation of the above, the underlying cross-modal semantic structure of multimedia data is better preserved when this data is projected into the common subspace. Comprehensive experimental results on four widely used benchmark datasets show that the proposed ACMR method is superior in learning effective subspace representation and that it significantly outperforms the state-of-the-art cross-modal retrieval methods.
（2021|CVPR，XMC-GAN，对比学习，注意力自调制）用于文本到图像生成的跨模态对比学习
最新发布
qq_44681809的博客
12-26 489
为改进本文到图像对齐，本文提出 XMC-GAN。它通过多个对比损失来捕捉模态间和模态内的对应关系。它使用注意力自调制生成器，强化文本与图像的对应关系，以及一种对比鉴别器，既进行评判又作为对比学习的特征编码器。
什么是跨模态检索 （cross-model retrieval）?以图像、文字跨模态检索为例
artistkeepmonkey的博客
10-16 4413
信息有多种表现形式，例如文字与图片。 如何找到一种模态对应的其他模态的数据？这就是跨模态检索问题。 有论文提出使用场景图来解决这个问题： Cross-modal Scene Graph Matching for Relationship-aware Image-Text Retrieval ...
今日 Paper | 跨模态行人重识别；对抗时尚迁移；学会注意错误等
喜欢打酱油的老鸟
03-12 989
2020-03-11 15:11:09 目录 跨模态行人重识别：共享与特异特征变换算法cm-SSFT GarmentGAN：具有图片真实感的对抗时尚迁移 学习将纹理从服装图像转移到3D人体 学会注意错误 MINA: 非刚性形状对齐的凸混合整数规划 跨模态行人重识别：共享与特异特征变换算法cm-SSFT 论文名称：Cross-modality Person re-iden...
XMC-GAN：从文本到图像的跨模态对比学习
LiveVideoStack
06-14 1420
Google提出了一个跨模态对比学习框架来训练用于文本到图像合成的 GAN 模型，用于研究解决生成的跨模态对比损失问题。文 /Han Zhang, Research Scientist ...
GAN简介及原理分析
秃头小苏的博客
10-06 7863
GAN简介及原理分析 生成式对抗网络（GAN, Generative Adversarial Networks ）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型（Generative Model，下文简写G）和判别模型（Discriminative Model，下文简写D）的互相博弈学习产生相当好的输出。判别模型（D）的任务就是判断一个实例是真实的还是由模型生成的；生成模型（G）的任务就是生成一个实例来骗过判别模型（D）。两个模型相互对抗，最后会
生成对抗网络（GAN）是干什么用的？
热门推荐
choushi5845的博客
08-31 3万+
什么是生成对抗网络？生成式对抗网络（GAN, Generative Adversarial Networks ）是一种深度学习模型，是近年来复杂分布上无监督学习最具前景的方法之一。模型通过框架中（至少）两个模块：生成模型（Generative Model）和判别模型（Discriminativ...
Cross-modal Retrieval
黄鑫的博客
08-08 2185
Cross-modal retrieval aims at retrieving relevant items that are of different nature with respect to the query format. Four Challenges: 1.representation 2.translation 3.alignment(对齐) 4.co-learnin...
跨模态搜索(cross-modal/media retrieval)
不会讲段子的正能量小王子
05-26 1万+
跨模态搜索研究的基本内容是寻找不同模态样本之间的关系，实现利用某一种模态样本，搜索近似语义的其他模态样本。 本文实现了论文《Joint Feature Selection and Subspace Learning for Cross-Modal Retrieval》（PAMI2016）和论文《Simple to Complex Cross-modal Learning
R2GAN
Forlogenの解忧杂货铺
07-07 1103
论文地址：http://vireo.cs.cityu.edu.hk/papers/R2GAN.pdf GitHub：未找到 收录于：CVPR 2019 R2GANR^2GANR2GAN全称Retrieval Generative Adversarial Network，它实现了根据文字描述来生成图像的传统任务，但这里不同之处在于做的是根据食谱来产生相应的食物的图像，想法很是新奇呀~作者认为通过这...
那么多GAN哪个好？谷歌大脑泼来冷水：都和原版差不多 | 论文
量子位
11-30 623
夏乙 编译整理 量子位 出品 | 公众号 QbitAI 从2014年诞生至今，生成对抗网络（GAN）热度只增不减，各种各样的变体层出不穷。有位名叫Avinash Hindupur的国际友人建立了一个GAN Zoo，他的“动物园”里目前已经收集了多达214种有名有姓的GAN。 DeepMind研究员们甚至将自己提出的一种变体命名为α-GAN，然后在论文中吐槽说，之所以用希腊字母做前
给我推荐20个比流行的多模态模型
08-31
7. Cross-Modal Retrieval：用于跨模态检索任务的模型。 8. TRL：基于图像文本关系知识的多模态迁移学习模型。 9. Multi-Channel Compact Bilateral Attention Network：用于视频目标检测的多模态模型。 10. Mixture...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值