注意力机制
文章平均质量分 60
注意力机制
song_3211
如果一件事情你不能讲清楚,十有八九你还没有完全理解
展开
-
DANet 双重注意力机制
空间注意力 PAM_Module:input A:(C,H,W),先分别通过三个卷积层得到B、C、D三个特征图,B reshape+transpose为(HxW,C),C reshape为(C,HxW),D reshape为(C,HxW)然后B与C相乘得到(HxW,HxW),再经过softmax得到S然后D与S做乘法,得到(C,HxW),再乘以尺度系数α,再reshape为(C,H,W)后与input相加得到输出初始化α系数为0,注意这是可学习参数,逐渐学习得到更大的权重举例:code原创 2021-10-13 16:43:27 · 4642 阅读 · 1 评论 -
CBAM 通道注意力 & 空间注意力机制
CBAM(Convolutional Block Attention Module)一种轻量的注意力模块,可以在空间和通道上进行注意力机制,沿着通道和空间两个维度推断出注意力权重系数,然后再与feature map相乘,CBAM的结构如下:包含两个模块:通道注意力模块和空间注意力模块,两个注意力模块采用串联的方式。1.通道注意力模块通道注意力是关注哪个通道上的特征是有意义的,输入feature map是H x W x C,先分别进行一个全局平均池化和全局最大池化得到两个1 x 1 x C的featu原创 2021-09-28 16:17:16 · 20879 阅读 · 2 评论