image-text matching(二)Expressing Objects just like words: Recurrent Visual Embedding for ITM

最新推荐文章于 2023-04-17 14:37:00 发布
最新推荐文章于 2023-04-17 14:37:00 发布
阅读量506 收藏
点赞数
文章标签： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/csdn_tclz/article/details/109903985
版权
本文提出了Dual Path Recurrent Neural Network (DP-RNN)用于图像文本匹配，解决仅关注单一对象可能导致的误匹配问题。通过RNN处理图像和文本特征，考虑对象间的语义关系，提高匹配准确性。实验表明，DP-RNN能有效利用语义相关的对象信息，提高匹配效果。
摘要由CSDN通过智能技术生成

背景

本篇论文的工作来自罗彻斯特大学。已被AAAI2020接收

动机

作者指出之前的工作仅考虑图像中单个的object与caption的关系可能导致误匹配。某些时候，这些objects可以联立起来共同确定图像是否与文本相对应。一个误匹配的例子，仅考虑单个region与各个词的联系忽略了regions之间的语义关系。如该mismatch的例子，Two people riding skis…，每个people区域都与句子高度关联，但却要联合建模regions的语义，才能确定是图上是"Two people"
在这里插入图片描述

方法

作者提出Dual Path Recurrent Neural Network (DP-RNN)，以RNN处理图像和文本特征，故构成双路RNN。个人理解，本文的创新点在于把RNN用来处理图像特征，使得图像region似乎也具有上下文一般。
利用RNN联合多个regions的语义，彷佛regions也有上下文一般。这样的话，对于不同的captions，也有相应多样的图像特征。
在这里插入图片描述

DP-RNN具体执行步骤如下：
第一步，当image-text pair送入网络时，不论当前image-text是否

最低0.47元/天 解锁文章
薛定猫的谔w
关注
image-text matching(一)Context-Aware Multi-View Summarization Network for Image-Text Matching
csdn_tclz的博客
11-21 1409
背景 这篇文章是山东大学聂礼强组的工作，被ACM MM2020接收 动机 作者提到，图文匹配任务中，一张图像有多句与之同语义的captions，每句caption可以视为是从不同的角度来对图像内容进行刻画(在描述图像中不同的区域)，如下图的例子。这样一来，图像特征如何与多个来自不同视角的captions进行对齐是任务难点。 方法 本文提出名为CAMERA的网络模型，包含一个自适应门控self-attention模块AGSA来自适应地捕捉模态内上下文信息流、然后是一个Multi-View Summariza
Image-Text Matching and VQA
人生而孤独，却不甘寂寞。
02-08 4492
Attention! 我的Dr.Sure项目正式上线了，主旨在分享学习Tensorflow以及DeepLearning中的一些想法。期间随时更新我的论文心得以及想法。 Github地址：https://github.com/wangqingbaidu/Dr.Sure CSDN地址：http://blog.csdn.net/wangqingbaidu 个人博客地址：http://www.wa...
CVPR2020 文本图像处理方向论文总结（Image-Text Matching）
qq_43680727的博客
11-22 4551
最近阅读了CVPR2020关于image-text matching的三篇文章，前两篇都是对文本图像匹配任务的改进，第三篇则是将文本图像匹配模型用于文本描述任务中。这里，我对三篇文章的主要内容进行一个梳理总结。 备注：由于本人也是第一次接触这个方向，很多术语可能翻译不正确，文章内容理解不正确，内容仅供参考。 1.GSMN Graph Structured Network for Image-Text Matching 解决问题： 现有的多对多匹配方案，大多忽视了元素属性、同一模态中不同元素间关联，而仅仅学习
【Image Text Matching】Learning Semantic Concepts and Order for Image and Sentence Matching
Vincy_King
11-16 1266
图像和句子匹配近年来取得了很大的进展，但由于视觉语义差异较大，仍然具有挑战性。这主要是由于像素级图像的表示通常缺乏其匹配句子中的高级语义信息。本文提出了一种语义增强的图像和句子匹配模型，该模型可以通过学习语义概念，然后按照正确的语义顺序组织它们来改进图像的表示。给定一个图像，本文首先使用多区域多标签CNN来预测其语义概念semantic concept，包括对象、属性、动作等。然后，考虑到不同的语义概念顺序导致不同的语义意义，使用上下文门控句子生成方案进行语义顺序学习。
image-text matching(六)Visual Semantic Reasoning for Image-Text Matching
csdn_tclz的博客
11-22 881
背景 这篇论文是美国东北大学的工作，接收于ICCV2019 动机 图文匹配任务的challenge在于，当前的图像表示通常缺乏全局语义概念(?)。作者提出模型VSRN，包含一个推理模块来生成视觉特征表示。具体地，第一步先构建图像regions之间的关系矩阵，在其上使用GCN来捕捉带有语义联系的visual features；接下来，利用得到的relationship enhanced features，输入到GRU中执行全局推理。 模型结构 方法 Region Relationship Reasoning
论文 Stacked Cross Attention for Image-Text Matching 浅析（SCAN方法）
lukas_ten的博客
03-03 2642
论文 Stacked Cross Attention for Image-Text Matching 浅析 1.前言 ​ 这篇文章是2018年发表在ECCV上的一篇文章，文章主要研究了图像-文本的匹配问题，将不同模态的区域图像和段落中的单词进行对齐，最终进行图像-句子和句子-图像双向检索。作者提出了SCAN的方法，接下来将对论文原理进行解读。 2.原理 先上论文的框架图： 2.1 Stacked Cross Attention(SCAN) 网络有两个输入，分别是图像特征集V = {v1, …, vk}和
【论文阅读】Visual Semantic Reasoning for Image-Text Matching
irene@1999的博客
10-12 1774
Visual Semantic Reasoning for Image-Text Matching介绍模型图像特征表示文本特征表示区域关系推理全局语义推理损失函数实验结果 论文发表时间：2019 论文作者：Kunpeng Li, Yulun Zhang, Kai Li, Yuanyuan Li and Yun Fu 论文地址：https://openaccess.thecvf.com 代码地址：https://github.com/KunpengLi1994/VSRN 介绍     考虑到当前图文匹配缺少图
Similarity Reasoning and Filtration for Image-Text Matching
qq_44761480的博客
03-26 1690
2021-4-Similarity Reasoning and Filtration for Image-Text Matching 图推理，self-attention 文本到图像的合成：AttnGAN: Fine-Grained Text to Image Generation With Attentional Generative Adversarial Net works Abstract 图像文本匹配在连接视觉和语言方面起着至关重要的作用，通过利用图像和句子之间的全局对齐，或区域和单词之间
Negative-Aware Attention Framework for Image-Text Matching阅读笔记
qq_48612666的博客
04-17 542
Negative-Aware Attention Framework for Image-Text Matching阅读笔记
Expressing Objects Just Like Words:Recurrent Visual Embedding for Image-Text Matching（论文详细梳理）
qq_47984164的博客
11-06 755
DP-RNN首先通过text encoder and image encoder 提取单词特征和原始图像特征，之后，在对图像的对象重新排序后，我们将对象特征以与单词特征相同的方式馈送到另一个双向GRU层，提取新的对象特征。特别是，给定一个输入Image-Text pair，作者提出的模型能够根据 Image object 在Text 中最相关的单词的位置对图像对象重新排序，并由RNN编码。用Faster R-CNN来提出显著区域，将每个突出区域视为一个对象，对于图像I，我们提取一组对象{O1，O2，…
4MC-4M-Image-Text-Pairs-with-CLIP-embeddings:我使用图像的CLIP嵌入的余弦相似度创建了一个Image-Text-Pairs数据集，该图像的标题来自YFCC100M。 我还添加了NSFW检测器的功能等等
04-22
4MC-4M带有CLIP嵌入的图像文本对 我使用图像的CLIP嵌入的余弦相似度创建了一个Image-Text-Pairs数据集，该图像的标题来自YFCC100M。 我还从NSFW检测器中添加了以下功能：“性感”，“色情”，“绘图”，“无尽”，“中性” 图像-文本对的数量：4264733 您可以在这里探索一小部分数据： : 链接到带有CLIP嵌入的元数据：（即将推出）链接到没有CLIP嵌入的元数据： : 我用过作为CSV文件的分隔符。 可以阅读df = pd.read_csv（csv_file，sep ='|'，lineterminator ='\ n'） CSV的列为 列= ['final_caption'，'title'，'text'，'usertags'，'url'，'licensename'，'image_size'，'source'，'quality_level'，'
image2txt 把图片转换成文字
07-12
image2txt 把图片转换成文字 由著名的chaozz编写
注意力机制（一）：Stacked Cross Attention for Image-Text Matching
qq2285580599的博客
12-30 1395
Motivation 1，上述研究没有考虑到图像区域和单词层面的潜在视觉语言对应。 2，我们将赋予不同权重的图像区域和单词作为推断图像-文本相似性的上下文。 Framework 我们首先计算所有可能对的余弦相似矩阵 sij表示第i个区域与第j个单词的相似性。 我们根据经验发现，将相似性限制在零是有益的，并且我们将相似矩阵归一化： 为了在每个图像区域上关...
Graph Structured Network for Image-Text Matching
qq_39400568的博客
12-12 532
Graph Structured Network for Image-Text Matching 1 Introduction 图像文本匹配往往只是学习了图像文本对中具有较为粗糙的一致性的内容而忽视了细粒度的细节。本文提出的GSMN网络结构基于节点级别的匹配能够通过融合邻居节点的关联来推到细粒度的一致性。实验显示本方法在Flickr30K和MSCOCO上的Recall@1提升了分别7%和2%。 2 Method 如上图所示，先提取image和text的特征，然后构建visual和textual图，随后学
图网络：Graph Structured Network for Image-Text Matching
weixin_43436958的博客
10-29 3217
用于图文匹配的图结构网络 摘要   由于图像-文本匹配连接了视觉和语言，因此它受到了越来越多的关注。关键的挑战在于如何学习图像和文本之间的对应关系。现有的工作基于对象共现统计学习粗对应，而没有学习细粒度的短语对应。在本文中，我们提出了一种新颖的图结构匹配网络（GSMN），以学习细粒度的对应关系。GSMN将对象、关系和属性明确地建模为一个结构化短语，不仅可以分别学习对象、关系和属性的对应关系，而且有利于学习结构化短语的细粒度对应关系。这是通过节点级匹配和结构级匹配实现的。节点级匹配将每个节点与其来自另一种模式
image-text matching(三)Position Focused Attention Network for Image-Text Matching
csdn_tclz的博客
11-22 1039
背景 本篇论文的工作来自西安交通大学、腾讯AI lab，接收于IJCAI2019 动机 前人的方法忽略了图像中的相对位置信息。一般来说，目标区域越靠近中心，就越有可能表达出图像的主要语义，而边缘区域则没有那么重要。(个人理解，本文的创新点在于把区域的位置信息进行编码，加入到图文匹配任务中) 如此一来，一个直观且简单的做法是，对于靠近图像中心的区域赋予其更多的注意力。然而，并不是所有靠近中心的区域都那么重要，如图1(b)所示，woman(最重要的区域)位于左下角。因此，简单地根据固定位置(例如中心)将注意力分
SCAN:Stacked Cross Attention for Image-Text Matching 阅读笔记
qq_40680309的博客
05-23 1008
摘要：本文研究了图像-文本匹配的问题。推断对象或其他显著事物之间潜在语义对齐。和句子中相应的单词可以捕捉视觉和语言之间细粒度的相互作用，并使图像-文本匹配更容易解释。之前的工作要么简单地聚合所有可能的区域和单词对的相似性，而不不同地关注越来越不重要的单词或区域，要么使用多步骤注意过程来捕获有限数量较少的语义对齐。在本文中，我们提出了堆叠交叉注意，利用图像区域和单词作为上下文来发现句子的完整潜在排列，并推断图像-文本相似性。我们的方法在MSCOCO和Flickr30K数据集上实现了最先进的结果。在Flickr
image-text matching(五)Adaptive Cross-modal Embeddings for Image-Text Alignment
csdn_tclz的博客
11-22 523
背景 本文提出的图文匹配模型名为ADAPT。ADAPT被设计用来：利用B模态的实例来调整A模态的实例的中间表示。这种自适应的调整能够过滤和增强模态间的重要信息，增强模型对重要的图/文细节的关注，从而引导向量表示的生成。（个人理解，本篇文章的创新点，设计了一种自适应的GA方式） 方法 整个流程是对称的，这里以T2I为例，最终得到的是带有文本注意的视觉特征表示。执行步骤，可以简单理解为先做一个GA，再做一个SA。在处理视觉模态时，文本模态的特征表示ccc投影得到两个指示向量γc\gamma_cγc​和βc\b
caption重要性 image_2019 年，借 VQA 来聊聊 Image-text matching
weixin_34541572的博客
12-05 462
做 "image-text matching" 这个 topic 有大半年的时间了，从 CVPR2020 鸽到 IJCAI2020，code 写了不少，实验也做了不少，但是最后还是没能做出来，接下来要去 MSRA 实习一段时间，不知道又要鸽到什么时候了。在实验后期卡住的时候，我看到了一些新颖的 VQA 的工作，感觉蛮有意思。本篇文章主要结合这些 VQA 模型和我的实验结果，写一写我对 image-...
Image-Text Matching
最新发布
07-23
是的，我可以回答这个问题。图像文本匹配是指通过比较图像和文本之间的语义关系，来确定它们之间的匹配程度。这个任务通常用于图像检索、信息检索和多模态学习等应用中。常见的方法包括使用深度学习模型，如卷积神经...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值