Squeeze-and-Excitation Networks（SENet：GAP+2个FC）通道注意力模型公式解析

Squeeze-and-Excitation Networks

代码

SE-Net代码

论文

SENet论文

SENet：通道注意力机制

SENet简易网络图

1.Squeeze：（全局信息嵌入）每个卷积核都与一个区域相关联，但是每个卷积核没有办法和该区域之外的信息（上下文信息）相关联。
简单的说，通过$z\in R^C$全局平均池化收缩 $U$ 的空间维度，如下式：

2.Excitation：（全捕获引导通道依赖）

简单来说就是两层全连接层，一层降维，一层升维。
该函数应该满足两个条件：一是灵活性（通道之间的非线性交互）；二是它能够学习一种不相互排斥的关系，目的是确保多个通道被强调（不是强制的独热向量激活）

$W_1$