Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks

最新推荐文章于 2023-03-18 11:49:46 发布
最新推荐文章于 2023-03-18 11:49:46 发布
阅读量707 收藏 2
点赞数
分类专栏： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/skant16/article/details/116781134
版权

00x1

论文标题：Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks

来源：清华大学Jittor

00x2

文章重点通过引入external attention来代替self-attention，并且external attention能够贯穿所有样本，学习到所有样本共享的特征。为此，我们需要引入一个外部的SxD的记忆单元M。

They(two memories) are independent of individual samples and shared across the entire dataset, which plays a strong regularization role and improves the generalization capability of the attention mechanism.

 

只需2层线性层，就能超越自注意力机制，清华计图团队又有新突破
Figure 1.图片来自论文

 

 引入两个不同的记忆单元用于增强External-attention的表达能力，

只需2层线性层，就能超越自注意力机制，清华计图团队又有新突破
Figure 2.图片来自论文
只需2层线性层，就能超越自注意力机制，清华计图团队又有新突破
Figure 3.图片来自论文

 00x3

这个论文挺有意思。引入了两个记忆单元隐式地共享了样本上的特征。

skant16
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
keras-self-attention:处理顺序数据的注意力机制，考虑每个时间戳的上下文
05-31
以下代码创建了一个注意力层，它遵循第一部分中的方程（ attention_activation是e_{t, t'}的激活函数）： import kerasfrom keras_self_attention import SeqSelfAttentionmodel = keras . models . Sequential ()...
Beyond Self-attention: External Attention usingTwo Linear Layers for Visual Tasks（论文翻译）
MJ17709005513的博客
03-26 5135
摘要 注意机制，尤其是自我注意，在视觉任务的深度特征表示中发挥了越来越重要的作用。自注意力通过使用所有位置的成对亲和力计算特征的加权和来更新每个位置的特征，以捕获单个样本中的长期依赖关系。然而，self-attention 具有二次复杂度，并且忽略了不同样本之间的潜在相关性。本文提出了一种新的注意力机制，我们称之为外部注意力，它基于两个外部的、小的、可学习的、共享的内存，只需使用两个级联的线性层和两个归一化层就可以轻松实现；它方便地取代了现有流行架构中的 self-attention。外...
论文解读《Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks》
weixin_37591159的博客
05-01 822
论文解读《超越自注意力机制：视觉任务中使用两个线性层的外部注意力机制》 期刊名：CVPR2021 代码：代码地址 论文地址：论文地址 一、摘要： 1） 注意力机制，特别是自注意力机制（self-attention），在视觉领域中的深度特征表示扮演重要角色。在自注意力机制中，特征图每个位置的更新都是使用计算特征图的加权和得到的，这个权重来源于所有位置中的成对关联，自注意力机制的长程依赖得以建立，但是自注意力机制有平方的复杂度以及对不同特征图之间的潜在关联的忽略。本文提出一个叫外部注意力的新的注意力机制。该注意
Day 3 second: Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks
ttppss的博客
05-08 689
总结 self-attention 的计算复杂度会呈二次方增长，因此实用性不大 本文基于两个外部的、小尺寸的、可学习的，且共享的存储，提出 external attention，可以方便地在现有的流行模型中，替换掉self-attention结构。 external attention 有线性的计算复杂度，同时它考虑到了 所有样本 之间的相关性 Core Ideas and Contribution 首先，通过计算 self query vector 和 external learnable key
【论文笔记】Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks
m0_61899108的博客
03-03 6651
论文题目：Squeeze-and-Excitation Networks 收录：TPAMI 2018 论文地址：https://arxiv.org/abs/1709.01507 项目地址：https://github.com/hujie-frank/SENet 卷积神经网络（CNN）的核心组成部分是卷积算子，它使网络能够通过融合每层局部感受野中的空间和通道信息来构建信息特征。之前的大量研究已经调查了这种关系的空间成分，试图通过提高CNN整个特征层次的空间编码质量来增强CNN的代表性...
[CVPR2021]Beyond Self-attention External Attention using Two Linear Layers for Visual Tasks
卢之
05-31 223
这篇论文已经不是推荐系统系列论文当中了，而是作为讨论注意力机制以及普通的全连接层之间的关系，也就是我们是否需要使用那么复杂的注意力机制来完成各种任务。 介绍 注意力机制，特别是自注意力机制，在视觉任务的深度特征表示中发挥着越来越重要的作用。自我注意机制通过计算特征的加权和来更新每个位置的特征，使用所有位置的成对亲和力来捕捉单个样本内的长程依赖性。然而，自我注意机制具有二次复杂性，并且忽略了不同样...
External-Attention-pytorch::four_leaf_clover:各种Attention Mechanisms, MLP, Re-parameter, Convolution的Pytorch实现，有助于进一步理解论文。:star::star::star:
07-24
10. Pyramid Split Attention (PSA) 用法 11. 高效的多头自注意力（EMSA）使用 12. 随机注意力使用 13. MUSE 注意用法 14. SGE注意力使用 15. A2注意力使用 16. AFT 注意用法 17. Outlook注意力使用 18. ViP 注意...
3D-Attention-Keras:此回购包含常用注意力成像机制的3D实现
03-10
3D注意事项 Sanghyun Woo, et al. "CBAM: Convolutional Block Attention Module." arXiv preprint arXiv:1807.06521v2 (2018). 代码： class channel_attention ( tf .... def __init__ ( self , rati
Self-Tuning-Networks:PyTorch实施“ STN”和“ Delta-STN”
05-09
自整定网络（STN） 该存储库包含针对自整定网络（STN）和Delta自整定网络（ -... 使用\layers定义从StnModel继承的模型。 指定模型与超参数的交互方式。 class StnTwoLayerMLP(StnModel): # Inherit from StnModel. de
Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks翻译
nopSled
06-16 556
摘要 注意力机制，尤其是自注意力，在视觉任务的深度特征表示中发挥着越来越重要的作用。Self-attention通过使用跨所有位置的成对计算特征的加权总和来更新每个位置的特征，以捕获单个样本中的长期依赖性。然而，自注意力具有二次复杂性，忽略了不同样本之间的潜在相关性。本文提出了一种新的注意力机制，我们称之为外部注意力，基于两个外部的、小的、可学习的，且参数共享的存储器，只需使用两个级联的线性层和两个归一化层就可以轻松实现；它方便地取代了现有流行架构中的自注意力。外部注意力具有线性复杂度，隐含地考虑了所有样本
注意力机制之External Attention
qq_38915354的博客
03-18 1378
注意力机制
【ARXIV2105】Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks
中国海洋大学AI前沿理论组
01-18 1310
论文：https://arxiv.org/abs/2105.02358 代码：https://github.com/MenghaoGuo/EANet B站视频：https://www.bilibili.com/video/BV1ug411M7kL 大部分内容来自论文作者 国孟昊 的B站视频，讲解的非常细致，强烈推荐 典型的 self-attention 计算方法如下图所示。 QQQ 和 KKK 相乘，使用 softmax 归一化，然一和VVV相乘，然后得到输出的特征，这个大家应该都相当熟悉了。 在实.
论文阅读《Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks》
jackzhang11的博客
05-08 3702
论文链接：https://arxiv.org/pdf/2105.02358.pdf Motivation self-attention在各种视觉任务中大放异彩，相比于卷积这类局部感知的操作，self-attention可以获取更多的long-range dependency，从而学习到融合了全局特征的feature。但是self-attention自身存在两个缺点：（1）计算量太大，计算复杂度与pixel的平方相关；（2）没有考虑不同样本之间的潜在关联，只是单独处理每一个样本，在单个样本内去捕获这类long
Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks(速读）
Arc
02-05 754
abstract 传统注意力机制是一个二次的复杂度（quadratic complexity），这篇论文提出的外部复杂度是一个线性的，计算复杂度低而且内存消耗小。 introduction 外部注意力机制复杂度低，精读高 多头外部注意力机制，构建了一个MLP的架构 大量的实验 注：多层感知器（Multilayer Perceptron,缩写MLP）是一种前向结构的人工神经网络，映射一组输入向量到一组输出向量 method 这个图是对比self-attention和external-attention
MLP-Mixer，External Attention，RepMLP
kevin的博客
05-09 1357
MLP-Mixer，External Attention，RepMLP 文章目录MLP-Mixer，External Attention，RepMLPMLP-Mixer：An all-MLP Architecture for Vision (Google)Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks (清华 胡事民组，在审)Do You Even Need Attention? A St
遍地开花的 Attention ，你真的懂吗？
阿里技术
08-09 1797
阿里妹导读：曾被 paper 中各种各样的 Attentioin 搞得晕晕乎乎，尽管零零散散地整理过一些关于Attention 的笔记，重点和线索依然比较凌乱。今天，阿里...
External Attention 据说这个机制可以较少参数超越注意力机制
东方佑
05-09 851
import jittor as jt from jittor import nn from jittor import Module from jittor import init from jittor.contrib import concat from resnet import resnet50, resnet101 class ConvBNReLU(Module): ‘’‘Module for the Conv-BN-ReLU tuple.’’’ def __init__(self, c_in
self-attention原理和改进方向
zhufenghao
11-26 6991
1. self-attention原理介绍 形象化解释：The Illustrated Transformer 哈佛代码介绍：The Annotated Transformer 论文解读：Attention Is All You Need - The Transformer 2. self-attention改进方向 先放资源，后面再解析 腾讯AI LAB github论文 发现一个每周论文的博客 3. self-attention在其他领域尝试 self-attention序列数据分析：attent
self-attention代码实现
最新发布
09-12
This code implements a simple self-attention mechanism using linear layers in PyTorch. The `SelfAttention` class takes the `hidden_size` as input and defines three linear layers for query, key, and ...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值