![](https://img-blog.csdnimg.cn/20201014180756757.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
Attention系列
文章平均质量分 95
m0_61899108
这个作者很懒,什么都没留下…
展开
-
【ICCV2023】Adaptive Frequency Filters As Efficient Global Token Mixers
最近的vision transformer、大核CNN和MLP由于其在全局范围内的有效信息融合,在视觉任务中取得了显著的成功。然而,由于自注意机制、大内核或全连接层的高昂计算成本,它们的高效部署,特别是在移动设备上的高效部署仍然面临着值得注意的挑战。这项工作,将传统的卷积定理应用于深度学习,以解决这一问题,并揭示自适应频率滤波器可以作为有效的全局令牌混频器。基于此,论文提出了自适应频率滤波(AFF)令牌混频器:Adaptive Frequency Filtering token mixer。原创 2023-08-21 10:10:34 · 3309 阅读 · 2 评论 -
【arXiv2303】Learning with Explicit Shape Priors for Medical Image Segmentation
基于UNet的网络在医学图像分割领域逐步占据主导地位。然而,卷积神经网络(CNNs)面临两个限制:CNN感受野有限,无法对器官或组织的长期依赖或全局关系进行建模。分割掩码很大程度上依赖于最终分割头的训练。现有的方法不能很好地同时解决这两个限制。因此,本文提出了一种新的形状先验模块(SPM),它可以引入形状先验来提高基于UNet的模型的分割性能。显式形状先验由全局形状先验和局部形状先验组成。具有粗略形状表示的全局形状先验为网络提供了对全局上下文建模的能力。局部形状先验具有更精细的形状信息,可以作原创 2023-06-12 22:24:13 · 3901 阅读 · 1 评论 -
深度学习中的各种注意力机制
视觉注意力机制是人类视觉所特有的一种大脑信号处理机制,而深度学习中的注意力机制正是借鉴了人类视觉的注意力思维方式。一般来说,人类在观察外界环境时会迅速的扫描全景,然后根据大脑信号的处理快速的锁定重点关注的目标区域,最终形成注意力焦点[1]。该机制可以帮助人类在有限的资源下,从大量无关背景区域中筛选出具有重要价值信息的目标区域,帮助人类更加高效的处理视觉信息。转载 2023-04-06 09:12:01 · 2654 阅读 · 0 评论 -
【论文笔记】EPSANet: An Efficient Pyramid Squeeze Attention Block on Convolutional Neural Network
论文论文题目:EPSANet: An Efficient Pyramid Squeeze Attention Block on Convolutional Neural Network收录:CVPR2021论文地址:https://arxiv.org/abs/2105.14447项目地址:GitHub - murufeng/EPSANet问题&解决使用通道注意力和空间注意力可以提升性能。如,SE模块,能以较低成本提升性能,但仅考虑通道信息,忽略了空间信息;BAM和CB原创 2022-04-29 13:35:44 · 5848 阅读 · 18 评论 -
【Attention】Dual Attention(DANet) & Fully Attention(FLA)
空间注意力有助于保留细节信息,通道注意力有助于保留大物体的语义一致性。有效使用两种注意力可以提升性能。本文旨在记录一些常用的注意力,以及代码实现,包括两篇文章,DANet,FLA。原创 2022-07-31 16:43:23 · 2856 阅读 · 2 评论 -
【论文笔记】Beyond Self-attention: External Attention using Two Linear Layers for Visual Tasks
论文题目:Squeeze-and-Excitation Networks收录:TPAMI 2018论文地址:https://arxiv.org/abs/1709.01507项目地址:https://github.com/hujie-frank/SENet卷积神经网络(CNN)的核心组成部分是卷积算子,它使网络能够通过融合每层局部感受野中的空间和通道信息来构建信息特征。之前的大量研究已经调查了这种关系的空间成分,试图通过提高CNN整个特征层次的空间编码质量来增强CNN的代表性...原创 2022-03-03 17:13:20 · 6703 阅读 · 6 评论