【注意力机制】SENet：Squeeze-and-Excitation Networks 阅读笔记、通道注意力机制的理解

最新推荐文章于 2024-07-29 17:29:05 发布

刘芋儿

最新推荐文章于 2024-07-29 17:29:05 发布

阅读量2.6k

点赞数 5

分类专栏：注意力机制文章标签：计算机视觉神经网络

本文链接：https://blog.csdn.net/weixin_43514766/article/details/115530789

版权

本文探讨了SENet（Squeeze-and-Excitation Networks）中的通道注意力机制，通过SE blocks自适应地重新校准特征响应。SE block通过全局信息嵌入和适应性重新分配权重来捕获通道间依赖，提升网络表示能力。实验显示，SENet在ILSVRC 2017图像分类比赛中表现出色，降低了top5误差，且适用于多种任务如场景分类和对象检测。

摘要由CSDN通过智能技术生成

ILSVRC 2017 图像分类比赛冠军

在这里插入图片描述

Abstract

卷积神经网络建立在卷积运算的基础上，它通过在局部感受野内将空间和通道方面的信息融合在一起，来提取信息特征。为了提高网络的表达能力，最近的一些方法已经显示出空间编码的优越性。
在这项工作中，作者专注于通道关系，并提出了一个新的架构单元，称之为 “SE block”，通过模拟通道之间的相互依赖关系，自适应地重新校准通道方面的特征响应。通过将这些SE模块堆叠在一起，可以构建SENet架构，本结构在具有挑战性的数据集上有较好的泛化能力。
以SENets为基础的模型在 ILSVRC 2017获得了第一名，并将top5误差降低到2.251%，比2016年的最佳模型实现了25%的相对提升。

Introduction

本文重点研究了通道关系，通过引入一个新的架构单元SE block，来对卷积特征的通道之间的相互依赖关系进行建模，以提高网络的表示能力。为了实现这一目标，我们提出了一种机制，允许网络执行特征重新校准（feature recalibration），通过这种机制，网络可以学习使用全局信息来有选择地强调信息量大的特征，并抑制不太有用的特征。
在这里插入图片描述
上图，X到U：一个或多个卷积操作；然后特征U会经历一个squeeze操作，将特征图在空间维度H×W上进行聚合，产生通道描述符，每个通道有一个描述符；【这个描述符嵌入了通道特征的全局分布，使得网络的全局接受场的信息能够被其下层所利用。】This descriptor embeds the global distribution of channel-wise feature responses, enabling information from the global receptive field of the network to be leveraged by its lower layer