Focus Your Atention: A Bidirectional Focal Atention Network for Image-Text Matching（图文匹配）

最新推荐文章于 2023-06-17 14:21:28 发布
最新推荐文章于 2023-06-17 14:21:28 发布
阅读量760 收藏 1
点赞数
分类专栏： 图文匹配
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lz739337660/article/details/115253880
版权

Focus Your Atention: A Bidirectional Focal Atention Network for Image-Text Matching（一个双向聚焦注意力网络）
在这里插入图片描述

  • 作者单位：iie、ustc等
  • 论文：https://arxiv.org/pdf/1909.11416.pdf

ABSTRACT

  1. 学习图像和文本语义对应的关键挑战：准确地发现和关联图像和文本的共享语义
  2. 现存方法：将共享语义表示为所有片段(图像区域或文本单词)的加权组合来实现这一目标，与共享语义相关的片段获得更多关注，反之则较少
  3. 存在的问题：尽管相关语义对共享语义的贡献更大，但不相关语义或多或少会干扰共享语义，从而导致关联阶段的语义失调
  4. 本文提出了一种新的双向聚焦注意力网络(BFAN)，该网络不仅允许关注相关片段，而且还将所有注意力转移到这些相关片段上（与以前方法不同：它们大多侧重于学习注意力权重，而我们的BFAN侧重于从共享语义中消除不相关的片段）
  5. 通过基于模态间关系预分配注意，基于模态内关系识别相关片段，再分配注意来实现焦点注意
  6. 聚焦注意力从图像—文本 / 文本—图像

INTRODUCTION

  1. 现存问题：这是因为许多片段与共享语义无关，这些片段也被关注，因此共享语义或多或少会受到干扰
  2. 我们提出了一种新的双向聚焦注意力网络(BFAN)通过只关注相关的片段而不是所有的片段来解决语义不一致问题（聚焦注意力聚焦于不相关片段去除上）
  3. 聚焦注意力：聚焦注意力是通过预先分配注意力、识别相关片段和重新分配注意力来实现的
  4. 此外，我们最大限度地将焦点注意力应用于图像-文本和文本-图像方向，以避免对长文本或复杂图像的偏好
  5. 贡献：
    （1）提出了一种新的双向焦点注意网络，该网络仅通过关注相关片段就能准确学习语义对齐。这是第一个在图文匹配中只关注相关片段而忽略不相关片段的工作
    （2）我们将图像-文本和文本-图像匹配整合到一个统一的框架中，避免了对长文本或复杂图像的偏好，最大限度地关联相关的图像-文本对
    （3）实验

RELATED WORK

  1. one-to-one方法（全图—文本）：映射到一个潜在空间

  2. many-to-many方法（图像区域—文本单词）：关联由区域和单词组成的共享语义来学习潜在的区域-单词对应（本文提出一种新的焦点注意力，该焦点注意力可以从共享语义中消除不相关的区域/词）

METHOD
在这里插入图片描述

  1. 通用注意力框架：
    （1）总体目标：最大限度地提高每个局部共享语义的相关性
    （2）现存注意力方法寻找共享语义：学习所有片段的注意力分布来寻找共享语义（缺点：并不是所有的片段都支持特定的共享语义，因为它们中的许多与之无关，如果不相关的片段被聚合，共享语义或多或少会受到干扰。更严重的是，它会导致语义不一致，因为不同的语义不能适当地解耦。 因此，有必要通过集成与目标语义相关的片段子集来表示共享语义）
  2. 我们的聚焦注意力：
    （1）不相关片段从共享语义被移除（计算相似性）
    （2）Text-to-Image焦点注意力：预先分配注意力（cos余弦） / 识别相关区域 / 重新分配注意力
    （3）Image-to-Text焦点注意力：
    （4）双向焦点注意力：文本-图像聚焦注意力学会挑选出语义上与每个单词相似的图像区域子集，而图像-文本聚焦注意力学会挑选出语义上与每个图像区域相似的文本单词子集
  3. 目标函数：Rank loss（采用一种结构化的排序损失作为目标函数，该函数已被证明能够使相关的图像-文本对的相关性得分最大化，使不相关的文本-图像对的相关性得分最小化）
    在这里插入图片描述
  4. 特征提取：
    （1）图像特征： Faster R-CNN + ResNet-101
    （2）文本特征： bidirectional GRU

EXPERIMENTS

  1. 实验设置：
    （1）数据集：Flickr30K / MSCOCO
    （2）评估指标：Recall@K (K = 1,5)
  2. 比较结果：在这里插入图片描述
  3. 消融实验：
    在这里插入图片描述
  4. 注意力可视化：
    在这里插入图片描述
  5. 量化结果（一些可视化结果展示）

CONCLUSION
本文提出了一种新的用于图像-文本匹配的双向焦点注意力模型。

lz739337660
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
注意力机制（二）：Focus Your Attention: A Bidirectional Focal Attention Network for Image-Text Matching
qq2285580599的博客
01-13 1108
Motivation 1，只有一小部分与共同语义相关的区域或词，如果将它们全部整合在一起，就会干扰目标语义，从而导致语义失调。 2，并不是所有的片段都支持特定的共享语义，因为它们中的许多与之无关，如果不相关的片段被聚合，共享语义或多或少会受到干扰。 3，如果我们将焦点集中在一个方向上，就会导致对长文本或复杂图像的偏好。这是因为长文本或复杂图像包含更多的信息，从而更有可能得到较高的查询响应。所以我们采用双向度量， 即算出两个方向的相似度，然后进行相加。 Framework 我们首先为...
Vsnips:Ultisnips for vscode
05-02
Vsnips 请：参考文档： : 允许用户在vscode中使用Ultisnips。 它正在开发中，尽管我不能保证所有... # Atention, this code must be put in python.snippets for `Python` code. snippet dbg " Use IPython to debug
跨模态检索最新高质量综述《Image-text Retrieval: A Survey on Recent Research and Development》
最新发布
zag666的博客
06-17 6514
本文从四个方面对ITR方法进行了全面和最新的调查。通过将ITR系统剖析为两个过程：特征提取和特征对齐，我们从这两个角度总结了ITR方法的最新进展。在此基础上，对ITR系统的效率研究作为第三个角度进行了介绍。为了与时俱进，我们还从第四个角度对跨模态预训练的ITR方法进行了开创性的概述。最后，我们概述了ITR的通用基准数据集和评估指标，并对有代表性的ITR方法进行了准确性比较。本文最后还讨论了一些关键但研究不多的问题。
文献阅读-图文匹配的相似性推理和过滤
Ricardo_PING的Blog
11-06 1925
像-⽂本匹配在连接视觉和语⾔⽅⾯起着⾄关重要的作⽤，并且通过利⽤图像和句⼦之间的全局对⻬或区域和单 词之间的局部对⻬已经取得了很⼤进展。然⽽，如何充分利⽤这些⽐对来推断出更准确的匹配分数仍然没有得到充 分探索。
图文匹配 + 图像分类 = 统一多模态对比学习框架
zenRRan的博客
07-14 3931
每天给你送来NLP技术干货！来自：圆圆的算法笔记目前CV领域中包括两种典型的训练模式，第一种是传统的图像分类训练，以离散的label为目标，人工标注、收集干净、大量的训练数据，训练图像识别模型。第二种方法是最近比较火的基于对比学习的图文匹配训练方法，利用图像和其对应的文本描述，采用对比学习的方法训练模型。这两种方法各有优劣，前者可以达到非常高的图像识别精度、比较强的迁移能...
给定的 columnmapping 与源或目标中的任意列均不匹配_闻歌研究 | 图文自动匹配任务研究调研...
weixin_39675178的博客
12-08 550
认知计算部作为中科闻歌的基础研究部门，认知计算部依托于中科闻歌多年来积累的媒体大数据、高性能云计算平台以及高素质技术人才，致力于将认知计算技术应用到广泛的业务场景中并推动前沿技术发展，研究方向包括但不限于自然语言处理、计算机视觉、认知心理学、数据挖掘等。1简介图文匹配任务主要研究的是如何衡量图片与文本在语义层面上的相似性。在研究初期，常用的技术方法是分别对图片和文本使用两个不同的网络进行...
深度学习Atention注意力机制ppt 报告专用
09-16
Attention Model在Image Caption、Machine Translation、Speech Recognition等领域上有着不错的结果。那么什么是Attention Model呢？举个例子，给下面这张图片加字幕（Image Caption）：一只黄色的小猫带着一个鹿角...
graph-representation:用Java实现的图形表示
03-06
图的实现 这是什么？ 这是PUC Minas的“ Algoritmos em Grafos”的图形实现。 在这里，我们需要一个文本形式的“翻译”图（我们将有四种图：有向图和加权图，有向图和非...7 2 3 290 //ATENTION! If there's more t
ios开发小技巧
01-02
用法：UIImage *yourImage= [self imageWithImageSimple:image scaledToSize:CGSizeMake(210.0, 210.0)]; //压缩图片 - (UIImage*)imageWithImageSimple:(UIImage*)image scaledToSize:(CGSize)newSize { // Create ...
image-text matching(三)Position Focused Attention Network for Image-Text Matching
csdn_tclz的博客
11-22 1016
背景 本篇论文的工作来自西安交通大学、腾讯AI lab，接收于IJCAI2019 动机 前人的方法忽略了图像中的相对位置信息。一般来说，目标区域越靠近中心，就越有可能表达出图像的主要语义，而边缘区域则没有那么重要。(个人理解，本文的创新点在于把区域的位置信息进行编码，加入到图文匹配任务中) 如此一来，一个直观且简单的做法是，对于靠近图像中心的区域赋予其更多的注意力。然而，并不是所有靠近中心的区域都那么重要，如图1(b)所示，woman(最重要的区域)位于左下角。因此，简单地根据固定位置(例如中心)将注意力分
《Stacked Cross Attention for Image-Text Matching》
黄鑫的博客
08-08 4815
ECCV 2018 主要思路：分别对文本和图像应用attention的机制，学习比较好的文本和图像表示，然后再在共享的子空间中利用hard triplet loss度量文本和图像之间的相似性。 图像特征：采用ResNet-101的Faster R-CNN网络对每一个图像产生k个目标区域，提取每一个目标对象的特征，嵌入矩阵变换为h维的vector 文本特征：文本的每一个word得到...
Residual Attention Network for Image Classification论文详解
luuuyi的博客
07-30 1万+
Residual Attention Network for Image Classification Introduction 首先作者介绍了在视觉领域中Attention也发挥着很大的作用，Attention不止能使得运算聚焦于特定区域，同时也可以使得该部分区域的特征得到增强，同时’very deep’的网络结构结合残差连接（Residual Network）在图像分类等任务中表现出了...
CVPR 2018 paper
qq_34848537的博客
10-08 1万+
CVPR 2018 参考链接 CVPR 2018 论文解读集锦（9月27日更新） CVPR 2018 open access Paperlist Embodied Question Answering Learning by Asking Questions Finding Tiny Faces in the Wild With Generative Adversarial Network...
论文笔记：Residual Attention Network for Image Classification
热门推荐
小时候贼聪明
06-25 3万+
深度学习中的Attention，源自于人脑的注意力机制，当人的大脑接受到外部信息，如视觉信息、听觉信息时，往往不会对全部信息进行处理和理解，而只会将注意力集中在部分显著或者感兴趣的信息上，这样有助于滤除不重要的信息，而提升信息处理的效率。
图文匹配Visual-Semantic Matching by Exploring High-Order Attention and Distraction
csdn_tclz的博客
12-23 3094
背景 本篇论文来自北大王选计算机研究所，接收于CVPR2020 动机 本文的出发点主要是两个： 1.发掘高阶语义信息(object-predicatesubject triplet (物体之间)主谓宾三元组信息、object-attribute pair 实体-属性对信息)。这个点其实比较常见，这方面的工作已经挺多了 2.确定图文对的匹配分数时把视觉干扰（visual distraction）带来的影响考虑进去。这个点比较有意思。 作者针对这两个主要的motivation，也举了一些例子 3列从左到右，依
​EACL 2023 | 图像文本检索：自适应特征聚合与训练目标
Paper weekly
03-07 1172
©PaperWeekly 原创 ·作者 |张梓键单位 |同济大学研究方向 |自然语言处理图文匹配（Image-Text Matching）是指通过模型学习图像和文字的特征表征方式，计算得出图片和文字的语义相关性。其中最重要的方法是视觉语义嵌入（Visual-Semantic Embedding, VSE），旨在学习相关视觉和语义实例彼此接近的嵌入空间。此项技术应用在信息化生活的方方面面，如...
Image-Text Matching and VQA
人生而孤独，却不甘寂寞。
02-08 4457
Attention! 我的Dr.Sure项目正式上线了，主旨在分享学习Tensorflow以及DeepLearning中的一些想法。期间随时更新我的论文心得以及想法。 Github地址：https://github.com/wangqingbaidu/Dr.Sure CSDN地址：http://blog.csdn.net/wangqingbaidu 个人博客地址：http://www.wa...
图网络：Graph Structured Network for Image-Text Matching
weixin_43436958的博客
10-29 3043
用于图文匹配的图结构网络 摘要   由于图像-文本匹配连接了视觉和语言，因此它受到了越来越多的关注。关键的挑战在于如何学习图像和文本之间的对应关系。现有的工作基于对象共现统计学习粗对应，而没有学习细粒度的短语对应。在本文中，我们提出了一种新颖的图结构匹配网络（GSMN），以学习细粒度的对应关系。GSMN将对象、关系和属性明确地建模为一个结构化短语，不仅可以分别学习对象、关系和属性的对应关系，而且有利于学习结构化短语的细粒度对应关系。这是通过节点级匹配和结构级匹配实现的。节点级匹配将每个节点与其来自另一种模式
《图文匹配&VQA》小结
黄鑫的博客
08-16 4385
图文匹配以及图像的QA是图像与文本多模态融合，是计算机视觉与自然语言处理的交叉。 图文匹配：将图像与文本都映射到一个相同的语义空间，然后通过距离对他们的相似度进行判断。 图文匹配问题与VQA最大的不同就是，需要比对两种特征之间的距离。将文本和图像分别做attention，DAN计算每一步attention后的文本和图像向量相似度累加得到similarity. VQA：给定一张图像和一...
请问我怎么在swin transformer中添加注意力机制
06-08
在Swin Transformer中添加注意力机制需要进行以下步骤： 1. 导入需要的模块 在Swin Transformer的代码中，需要导入以下模块： ``` python import torch from torch import nn from torch.nn import functional as F ``` 2. 实现注意力机制 在Swin Transformer中，可以通过实现自定义的注意力机制来添加注意力机制。 ``` python class Attention(nn.Module): def __init__(self, in_channels, out_channels, kernel_size=1, stride=1): super(Attention, self).__init__() self.conv = nn.Conv2d(in_channels, out_channels, kernel_size, stride, padding=kernel_size // 2, groups=out_channels) self.norm = nn.BatchNorm2d(out_channels) self.act = nn.ReLU(inplace=True) self.pool = nn.AdaptiveAvgPool2d(1) self.conv_atten = nn.Conv2d(out_channels, out_channels, kernel_size=1, stride=1) self.sigmoid = nn.Sigmoid() def forward(self, x): x = self.conv(x) x = self.norm(x) x = self.act(x) x = self.pool(x) x = self.conv_atten(x) x = self.sigmoid(x) return x ``` 在这个自定义的注意力模块中，使用了卷积、BN、ReLU、全局平均池化、卷积、Sigmoid等操作，来实现对输入特征图的注意力加权。 3. 在Swin Transformer中使用注意力机制 在Swin Transformer中，可以在需要添加注意力机制的地方，将Attention模块加入到网络中。 例如，在Swin Transformer的基础块中，可以在第二个分支的卷积之前添加注意力模块： ``` python class SwinTransformerBlock(nn.Module): def __init__(self, dim, input_resolution, num_heads, window_size=7, shift_size=0, mlp_ratio=4., qkv_bias=False, qk_scale=None, drop=0., attn_drop=0., drop_path=0., act_layer=nn.ReLU, norm_layer=nn.LayerNorm): super().__init__() self.dim = dim self.input_resolution = input_resolution self.num_heads = num_heads self.window_size = window_size self.shift_size = shift_size self.mlp_ratio = mlp_ratio self.qkv_bias = qkv_bias self.qk_scale = qk_scale self.drop = drop self.attn_drop = attn_drop self.drop_path = drop_path self.norm1_name, norm2_name = norm_layer.__name__.split('.')[-1], norm_layer.__name__.split('.')[-1] self.norm1 = norm_layer(dim) self.attn = WindowAttention( dim, window_size=window_size, num_heads=num_heads, qkv_bias=qkv_bias, qk_scale=qk_scale, attn_drop=attn_drop, proj_drop=drop) self.norm2 = norm_layer(dim) self.mlp = Mlp(in_features=dim, hidden_features=int(dim * mlp_ratio), act_layer=act_layer, drop=drop) self.conv_atten = Attention(dim, dim//8) # 添加注意力模块 def forward(self, x, mask_matrix=None): H, W = self.input_resolution B, L, C = x.shape assert L == H * W, "input feature has wrong size" # norm before attn x = self.norm1(x) # calculate attention mask if mask_matrix is None: mask_matrix = torch.zeros((1, H, W, H, W), dtype=x.dtype, device=x.device) # 生成全零的mask矩阵 if self.window_size == H and self.shift_size == 0: # use global attention attn_mask = mask_matrix else: # calculate attention mask for SW-MSA attn_mask = self.calculate_mask(mask_matrix) # atention x = x.reshape(B, H, W, C).permute(0, 3, 1, 2) # 添加注意力模块 x = x * self.conv_atten(x) x = x.permute(0, 2, 3, 1).reshape(B, H * W, C) x, attn = self.attn(x, attn_mask) # drop path if self.drop_path > 0.: x = drop_path(x, self.drop_path, self.training) # reesidual connection x = x + self.drop_path(self.mlp(self.norm2(x)), self.drop_path, self.training) return x, attn, mask_matrix ``` 在这个Swin Transformer基础块的第二个分支的卷积之前，加入了Attention模块，并用该模块对输入特征图进行了注意力加权。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值