Channel Attention
Squeeze-and-Excitation Networks
![在这里插入图片描述](https://img-blog.csdnimg.cn/79255dca631b44719fe2ddbd0f8be39f.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FSWUFE,size_16,color_FFFFFF,t_70)
![在这里插入图片描述](https://img-blog.csdnimg.cn/81ccc2626b9f458b9c7cd914ef9551b7.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FSWUFE,size_16,color_FFFFFF,t_70)
SENet的高效率主要来自于2个模块:
(1)squeeze:global pool
将w*h压缩到了1减少了后续操作中对spatial维度的计算和参数。
(2)excitation:通道维度先降再升
如果直接用一个c->c的FC,那么参数为c2;如果先降再升用两个FC,那么参数为(c2)/r+(c**2)/r,原文中r=16,那么参数就变为了一个FC的1/8.
(为什么r=16???)
Selective Kernel Networks
![在这里插入图片描述](https://img-blog.csdnimg.cn/713f2c64ba6842509a30b1f3ad916719.png?x-oss-process=image/watermark,type_ZmFuZ3poZW5naGVpdGk,shadow_10,text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L0FSWUFE,size_16,color_FFFFFF,t_70)