《Stacked Cross Attention for Image-Text Matching》

最新推荐文章于 2024-05-28 09:48:33 发布
最新推荐文章于 2024-05-28 09:48:33 发布
阅读量4.8k 收藏 9
点赞数
分类专栏： 论文阅读
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_33373858/article/details/81509636
版权
该研究在ECCV 2018上发表，提出了Stacked Cross Attention机制，通过在共享子空间中使用hard triplet loss，学习到高质量的文本和图像表示，以增强图像和文本之间的相似性计算。它利用ResNet-101的Faster R-CNN提取图像目标区域特征，使用双向GRU处理文本。通过余弦距离和average polling确定相似度，并采用LogSumExp、AVG和Sum-Max等池化方法以及hard triplet loss进行训练，提高了匹配准确性。
摘要由CSDN通过智能技术生成

ECCV 2018

主要思路：分别对文本和图像应用attention的机制，学习比较好的文本和图像表示，然后再在共享的子空间中利用hard triplet loss度量文本和图像之间的相似性。

图像特征：采用ResNet-101的Faster R-CNN网络对每一个图像产生k个目标区域，提取每一个目标对象的特征，嵌入矩阵变换为h维的vector

文本特征：文本的每一个word得到one-hot vector，embedding后为300维的vector，再用双向GRU得到h维的vector（bi-directional GRU）

最低0.47元/天 解锁文章
黄鑫huangxin
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 7
    评论
专栏目录
注意力机制（一）：Stacked Cross Attention for Image-Text Matching
qq2285580599的博客
12-30 1333
Motivation 1，上述研究没有考虑到图像区域和单词层面的潜在视觉语言对应。 2，我们将赋予不同权重的图像区域和单词作为推断图像-文本相似性的上下文。 Framework 我们首先计算所有可能对的余弦相似矩阵 sij表示第i个区域与第j个单词的相似性。 我们根据经验发现，将相似性限制在零是有益的，并且我们将相似矩阵归一化： 为了在每个图像区域上关...
image-text matching(三)Position Focused Attention Network for Image-Text Matching
csdn_tclz的博客
11-22 1015
背景 本篇论文的工作来自西安交通大学、腾讯AI lab，接收于IJCAI2019 动机 前人的方法忽略了图像中的相对位置信息。一般来说，目标区域越靠近中心，就越有可能表达出图像的主要语义，而边缘区域则没有那么重要。(个人理解，本文的创新点在于把区域的位置信息进行编码，加入到图文匹配任务中) 如此一来，一个直观且简单的做法是，对于靠近图像中心的区域赋予其更多的注意力。然而，并不是所有靠近中心的区域都那么重要，如图1(b)所示，woman(最重要的区域)位于左下角。因此，简单地根据固定位置(例如中心)将注意力分
【论文阅读】Stacked Cross Attention for Image-Text Matching
irene@1999的博客
10-11 2361
Stacked Cross Attention for Image-Text Matching介绍方法图像预处理文本预处理堆叠交叉注意力机制image2txttxt2image损失函数实验结果 论文发表时间：2018 论文作者：Kuang-Huei Lee1, Xi Chen1, Gang Hua1, Houdong Hu1, and Xiaodong He2? 论文地址：https://arxiv.org/abs/1803.08024 代码地址：https://github.com/kuanghuei/S
多头注意力（Multi-Head Attention）和交叉注意力（Cross-Attention）是两种常用的注意力机制的原理及区别
热门推荐
ywfwyht的博客
10-16 2万+
在类的初始化函数中，我们需要设置注意力头数num_heads，以及每个注意力头的k维度k_dim和v维度v_dim。在前向传播函数中，我们使用全连接层将x1投影到k_dim * num_heads维度，x2投影到k_dim * num_heads和v_dim * num_heads的空间，再将结果按注意力头和k_dim/v_dim维度进行调整。注意力计算完成后，将得分与v相乘，再将结果按注意力头和v_dim维度进行调整，最终使用全连接层将结果投影会in_dim维度，即可得到多头注意力计算的结果。
探索视觉魔法：零样本外观迁移的跨图像注意力机制
最新发布
gitblog_00023的博客
05-28 840
探索视觉魔法：零样本外观迁移的跨图像注意力机制 项目地址:https://gitcode.com/garibida/cross-image-attention 在当今的AI领域，图像生成技术正以前所未有的速度进化，尤其是在将文本描述转化为逼真图像的能力方面。今天，我们特别推荐一个令人兴奋的开源项目——Cross-Image Attention for Zero-Shot Appearance Tr...
多模态条件机制 Cross Attention 原理及实现
WGS.
03-22 7256
多模态条件机制 Cross Attention 原理及实现
深度学习：cross-attention介绍以及与self-attention的区别
进阶的小宋
09-18 1895
Cross-attention将两个相同维度的嵌入序列不对称地组合在一起，而其中一个序列用作查询Q输入，而另一个序列用作键K和值V输入。当然也存在个别情况，在SelfDoc的cross-attention，使用一个序列的查询和值，另一个序列的键。总而言之，QKV是由两序列拼凑的，不单一。Cross-attention的输入来自不同的序列，Self-attention的输入来自同序列，也就是所谓的输入不同，但是除此之外，基本一致。self-attention输入则是一个单一的嵌入序列。
3D-Stacked Memory Architectures for Multi-Core Processors
06-16
在高性能中使用3D堆叠技术实现多核处理机上的性能优化
stacked-gen-bucket-of-models:堆叠泛化和模型桶的实现
07-08
这是 Stacked Generalization 的一种实现，正如的论文所解释的那样。 它通过提供用于选择分类器和参数扩展堆叠泛化。 通过在训练集上使用交叉验证来选择分类器和参数。 用法 有一个包含的文件显示了示例用法。 问题...
Stacked-Fitness-Lynx-Demo-App-
03-27
【Stacked-Fitness-Lynx-Demo-App-】是一个基于Swift编程语言开发的应用程序示例，主要用于健身或运动领域。这个项目可能提供了一个多层架构（stacked architecture）的实例，展示了如何在iOS应用中组织和管理代码，...
Template for Stacked Block Device Driver-开源
05-06
BDwrap是用于在Linux上编写可堆叠块设备驱动程序的模板。 简洁的界面隐藏了设备处理，异步调用，缓冲区高速缓存交互等方面的复杂性。它是快速开发堆栈式块驱动程序的好工具。
TextMatching:用于文本匹配的深度学习
05-02
文字匹配 实现一些深层次的文本匹配模型 ICLR2018 ACL2017 AAAI16 关于代码 容易训练。 您只需要在编辑代码以加载数据，然后运行python -m textmatch.train --classfier=DIIN命令即可训练diin模型。 易于扩展。 如果您想探索一个新模型。 只是在textmatch/model创建一个新文件并在该文件中定义一个类，该类扩展了当前目录中的TextModel 。 您只是重写方法get_model 。 最后只需在textmatch/model/__init__.py
stacked-and-timeline-charts:HighCharts，NodeJs 服务器
06-28
堆积时间线图 ##设置你的开发机器 您应该在开发机器上安装以下内容： ###Git $ sudo apt-get install git ...$ cd stacked-and-timeline-charts ###安装 express 和 ejs $ npm install express $ npm install
用深度学习（CNN RNN Attention）解决大规模文本分类问题 - 综述和实践
qq_38331273的博客
11-28 1477
原文链接：https://zhuanlan.zhihu.com/p/25928551 总结下文本分类领域特别是应用深度学习解决文本分类的相关的思路、做法和部分实践的经验。 业务问题描述： 淘宝商品的一个典型的例子见下图，图中商品的标题是“夏装雪纺条纹短袖t恤女春半袖衣服夏天中长款大码胖mm显瘦上衣夏”。淘宝网后台是通过树形的多层的类目体系管理商品的，覆盖叶子类目数量达上万个，商品量也是10亿量级，我们是任务是根据商品标题预测其所在叶子类目，示例中商品归属的类目为“女装/女士精品>>蕾丝衫/
语义分割系列20-CCNet（pytorch实现）
yumaomi的博客
07-01 5859
本文介绍了CCNet论文及模型，介绍了Criss-Cross attention模块原理和实现代码。本文提供了Criss-cross attention、Recurrent Criss-Cross attention、CCNet的实现代码，并且在Camvid数据集上进行测试，所有代码基于pytorch框架。...
NLP文本匹配任务Text Matching [有监督训练]：PointWise（单塔）、DSSM（双塔）、Sentence BERT（双塔）项目实践
丨汀、的博客
08-14 1692
NLP文本匹配任务Text Matching [有监督训练]：PointWise（单塔）、DSSM（双塔）、Sentence BERT（双塔）项目实践
论文笔记——Cat cross attention in vision transformer
unamable的博客
01-08 355
同期论文如Swin Transformer和Pyramid Vision Transformer都很不错！不过这里只简单介绍CAT。 提出了一种新的注意力机制，称为Cross Attention，它在图像块内而不是整个图像中交替注意以捕获局部信息，并结合Transformer构建为CAT，表现SOTA。性能优于PVT、CrossViT等网络。 对图像进行Tokenization之后，用图像块替换Transformer的word tokens所需的计算量很大（例如ViT），这会成为模型训练和推理的瓶颈。而C
自注意力机制
whaosoft143ai的博客
02-12 367
然而，大多数论文依然是实现《Attention Is All You Need》论文中提出的原始的缩放点积注意力机制（scaled-dot product attention mechanism），因为对于大多数训练大规模 Transformer 的公司来说，自注意力很少成为计算瓶颈。因果自注意力能确保一个序列中某个特定位置的输出仅基于之前位置的已知输出，而不是未来位置的输出。这里，torch.triu 的作用是保留矩阵的主对角线及之上的元素，将对角线之下的元素归零，因此可以保留上三角的部分。 whao
text matching
ckqsars的博客
12-13 2234
本文章记录关于text matching相关文章的记录： 前提概述： text matching是一种端到端的文本匹配的算法，主要用与搜索引擎，问答系统等，主要是为了找到与目标文本最相关的文本。如和问题最相关的答案，在搜索引擎中找到与搜索框中关键词最相关的网页等。MatchPyramid 文章来源：Text Matching as Image Recognition 主要方法：构建文本与文本
Very Deep Convolutional Networks for Large-Scale Image Recognition" by Karen Simonyan and Andrew Zisserman (2014)
05-12
"Very Deep Convolutional Networks for Large-Scale Image Recognition" is a research paper by Karen Simonyan and Andrew Zisserman, which was published in 2014. The paper introduces the architecture of the Convolutional Neural Network (CNN) called VGGNet, which achieved state-of-the-art results in image classification tasks during the ImageNet Large Scale Visual Recognition Challenge (ILSVRC) in 2014. VGGNet is a deep CNN architecture that consists of 16-19 layers, with a simple and uniform structure. The network has small convolution filters of size 3x3, which are stacked on top of each other to form deeper representations. The authors showed that increasing the depth of the network leads to better performance, but at a cost of increased computational complexity. The paper also introduced a method for visualizing the learned features of the network, which helped to understand how the network was able to achieve high performance on image classification tasks. The authors used the learned features of the network to generate images that maximally activate certain neurons in the network, which provided insights into the types of patterns that the network was able to recognize. Overall, the VGGNet architecture has become a popular benchmark in the field of deep learning, and has been used as a starting point for many subsequent CNN architectures.

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值