《Twins: Revisiting the Design of Spatial Attention in Vision Transformers》论文阅读

最新推荐文章于 2023-12-02 19:55:53 发布
最新推荐文章于 2023-12-02 19:55:53 发布
阅读量531 收藏 1
点赞数
分类专栏： Transformer 文章标签： cv 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_38990652/article/details/120581432
版权

作者认为：

空间注意力是非常重要的

足够大的接受野对于性能的提高是非常重要的

Vision Transformer的核心问题：

如何设计空间注意力

作者提出了两中vision Transformer结构：Twins-PCPVT和Twins-SVT

Twins-PCPVT

作者发现PVT中的global sub-sampled attention采用一个合适的位置编码是非常有效的，它的性能可以超过Swin Transformer，在这篇论文中，作者认为PVT的性能偏低的原因是因为它使用的绝对位置编码，Swin Transformer采用了相对位置编码

作者将PVT中的绝对位置编码替换为CPVT中conditional position encoding，将position encoding generator（CPE）放在每一个stage中第一个encoder block的后面

Twins-SVT

对于一个给定HxW的输入，自注意力的计算复杂度为H2𝑊2𝑑,其中d是注意力维度

作者提出了一个空间可分离的自注意力SSSA用来解决平方复杂度

SSSA由locally-grouped self-attention (LSA) 和 global sub-sampled attention (GSA)组成

Locally-grouped self-attention (LSA)

将2Dfeature maps划分为很多个sub-windows，自注意力通信只在每一个sub-window内，具体来说，feature maps被划分为mxn个sub-windows

Global sub-sampled attention (GSA)

作者使用了一个单独的representative来summarize mxn的sub-windows中的重要的信息，然后使用representative来和其他的sub-window进行通信

ImageNet-1k 分类任务

 

ADE20K 分割

 

COCO 目标检测（Retina 框架）

 

COCO 目标检测（Mask-RCNN 框架）

 

李加贝_
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
attention综述论文阅读：An Overview of the Attention Mechanisms in ComputerVision
langtaosha1996的博客
12-06 3630
1. Introduction 注意机制起源于对人类视觉的研究。在认知科学中，由于信息处理的瓶颈，人类只能注意到所有可见信息的一部分。受这种视觉注意机制的启发，研究者们试图寻找视觉选择性注意模型来模拟人类的视觉感知过程，从而模拟人类在观察图像和视频时的注意分布，并扩展其应用。 以计算机视觉领域为例，深度学习与视觉注意机制相结合的研究大多集中在mask的使用上。mask的原理是将图像数据中的关键特征用另一层新的权值来识别。通过学习和训练，深度神经网络可以学习到每一个新图像中需要注意的区域，从而形成注意。
Revisiting the security of bidirectional quantum secure communication
12-30
重新考虑双向量子安全直接通信协议的安全性，高飞，郭奋卓，本文从信息论和密码学的角度分析了三种双向量子安全直接通信协议的安全性，指出这些协议中传递的信息将会被部分泄露出去。也就是
[2104] [NIPS 2021] Twins: Revisiting the Design of Spatial Attention in Vision Transformers
koukouvagia的博客
03-02 906
Twins: Revisiting the Design of Spatial Attention in Vision Transformers
【Transformer】6、Twins：Revisiting the Design of Spatial Attention in Vision Transformers
呆呆的猫的博客
05-06 2804
文章目录一、背景二、动机三、方法3.1 Twins-PCPVT3.2 Twins-SVT四、实验 代码：https://github.com/Meituan-AutoML/Twins 一、背景 最近以来，Transformer 取得了很大的关注，相比 CNN 而言，Transformer 有更强的捕获 long-range dependencies 的能力，且可以处理文本、语音、图像等任务。 虽然Transformer效果也挺好的，但其由于spatial self-attention 而导致的高计算量一直
Twins: Revisiting the Design of Spatial Attention in Vision Transformers
qq_52302919的博客
11-23 1280
在本文中，重新审视了空间注意力的设计，并证明了精心设计但简单的空间注意力机制与最先进的方案相比表现良好。因此，本文提出了两种视觉转换器架构，即Twins PCPVT和TwinsVT。该架构高效且易于实现，仅涉及在现代深度学习框架中高度优化的矩阵乘法。更重要的是，所提出的体系结构在广泛的视觉任务（包括图像级分类以及密集检测和分割）上实现了优异的性能。 本文的第一个发现是，PVT中的全局子采样注意力是非常有效的，并且使用适用的位置编码，其性能可以与最先进的视觉Transformers（例如，Swin）相当甚至更
Twins: Revisiting the Design of Spatial Attention inVision Transformers解读
学术菜鸡
04-18 3976
文章：https://arxiv.org/abs/2104.13840 代码：GitHub - Meituan-AutoML/Twins: Two simple and effective designs of vision transformer, which is on par with the Swin transformerTwo simple and effective designs of vision transformer, which is on par with the Swin tr
Revisiting the absorption and transmission properties of coupled open waveguides
02-22
Their absorption and transmission spectra are the most important properties in determining the overall performance of the photonic devices. The imaginary parts of their eigenvalues have been commonly...
Designing E-learning Interactions in the 21st Century: revisiting and rethinking the role of theory
05-26
在21世纪设计电子学习互动：重新审视与思考理论的作用 在当今数字化时代，电子学习（E-learning）已经成为教育领域的重要组成部分。然而，许多人错误地认为电子学习是近几十年的新事物，实际上，其起源可以追溯到20...
SpCo-NIPS 2022 论文阅读详细笔记
10-30
Nian Liu等人在NeurIPS 2022会议上发表的论文《Revisiting Graph Contrastive Learning from the Perspective of Graph Spectrum》正是针对这一问题进行深入探讨。 该论文主要解决了以下几个核心问题： 1. **图...
Twins: Revisiting the Design of Spatial Attention inVision Transformers
Recursions的博客
11-03 908
我们提出了两种视觉变压器架构，即Twins-PCPVT和TwinsSVT。我们提出的架构是高效的和易于实现的，将transformers应用于视觉任务的主要问题之一是transformers的空间自注意操作的计算复杂度较大，其输入图像的像素数呈二次增长。.这导致了我们提出的第一个架构，称为Twins-PCPVT。在此基础上，我们进一步提出了一种精心设计但简单的空间注意机制，使我们的架构比PVT更有效。我们的注意机制是受到广泛使用的可分离深度卷积的启发，因此我们将其命名为空间可分离自注意（SSSA）。
2021-Twins: Revisiting the Design of Spatial Attention
小毛激励我好好学习的博客
05-31 509
1. Title Twins: Revisiting the Design of Spatial Attention in Vision Transformers https://github.com/Meituan-AutoML/Twins 2. Summary 写完笔记之后最后填，概述文章的内容，以后查阅笔记的时候先看这一段。 3. Problem Statement 相较于CNN来说，Transformer由于其能高效地捕获远距离依赖的特性，近期在计算机视觉领域也引领了一波潮流。Transform
NeurIPS 2021 ｜ Twins：重新思考高效的视觉注意力模型设计
美团技术团队
03-24 5019
总第498篇2022年 第015篇Twins 是美团和阿德莱德大学合作提出的视觉注意力模型，相关论文已被 NeurIPS 2021 会议接收。本文主要讲述 Twins 解决的难点、设计和实现思路，以及在美团场景的探索落地，希望能对从事视觉算法研发的同学有所帮助和启发。导读背景视觉注意力模型设计的难点Twins 模型设计Twins-PCPVTTwins-SVT实验Image...
空间Attention
rosefun96的博客
10-29 4680
1. 简介 空间注意力（Spatial Attention）机制，特别是基于 Transformer 的注意力机制在最近取得了广泛的成功与应用，但是对该机制本身的理解和分析仍然匮乏。本论文对空间注意力机制进行了详尽的经验性分析，取得了更深入的理解与一些全新的观点，这些分析表明空间注意力机制的设计存在很大的改进空间。 2. 论文 Transformer-XL 中提出，注意力权重可以按使用的特征因子被...
论文阅读（3）Digital Twins The Convergence of Multimedia Technologies
Oskar的博客
04-12 794
数字孪生 多媒体技术的融合
[论文阅读]Generalized Attention——空间注意力机制
最新发布
qq_53909832的博客
12-02 2392
Generalized Attention论文阅读
论文解析：Motion Guided Spatial Attention for Video Captioning
zuber123的博客
05-05 1117
简介     这篇论文是复旦大学姜育刚教授团队发表在2019 AAAI上的一篇论文，这篇论文的主要思想是通过光流图“引导”空间上的注意力，从而实现视频字幕生成的任务。我个人认为这篇论文的思想较为新颖，合理，因此详细的阅读了这篇文章并再此做一个记录。 1.论文思想     这篇论文中提到一个人类视觉注意力的一个“习惯”：...
《CBAM: Convolutional Block Attention Module》论文阅读之 Channel Attention 与 Spatial Attention
qq_34706871的博客
10-12 3614
为了提高神经网络的性能，许多研究都集中在 “depth, width, and cardinality” 上，而本文的重点在 “Attention”。 “注意力机制（Attention mechanism）”听起来很高大上，实际上是关于调整权重的问题，这篇论文提出了一个“即插即用的”的网络结构——CBAM，能够很方便的加到其他的CNN结构中。CBAM利用了通道注意力（channel attent...
论文--计算机视觉中的注意力机制
有问题请直接说问题就好
09-28 3733
计算机视觉中用到的注意力机制模块
上面的代码报错：onsider revisiting the entries above or defining a bean of type 'org.springframework.scheduling.concurrent.ThreadPoolTaskExecutor' in your configuration.
06-02
这个错误通常表示您的应用程序缺少一个名为"executor"的线程池任务执行器的配置，或者配置不正确。您需要确保在您的应用程序上下文中定义了一个名为"executor"的ThreadPoolTaskExecutor bean。 例如，您可以在您的应用程序配置类中添加以下内容： ``` @Configuration public class AppConfig { @Bean public ThreadPoolTaskExecutor executor() { ThreadPoolTaskExecutor executor = new ThreadPoolTaskExecutor(); executor.setCorePoolSize(10); executor.setMaxPoolSize(100); executor.setQueueCapacity(10); return executor; } // ... } ``` 这将创建一个名为"executor"的线程池任务执行器，并将其添加到您的应用程序上下文中。请注意，您需要根据您的应用程序需求调整核心池大小、最大池大小和队列容量等参数。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值