注意力机制的实现-senet

注意力机制可以作为一个小技巧在我们的网络中实现，具体的实现方式如下（以pytorch）为例

senet是典型的通道注意力机制，具体原理如下

 首先，对H,W进行全局平均池化，只保留batch-size，channel两个通道，将其压缩为特征长条

其次，进行两次全连接，第一次全连接的输的较小，第二次全连接的输出等于channel，并且补全batch-size，channel两个维度。

最后，根据得到的通道重要程度的权重与原特征图相乘，已达到目的。

import torch
import torch.nn as nn


class se_block(nn.Module):
    def __init__(self, channel=512, ratio=16):
        super(se_block, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.fc = nn.Sequential(
            nn.Linear(channel, channel//ratio, bias=False),
            nn.ReLU(inplace=True),
            nn.Linear(channel//ratio, channel, bias=False),
            nn.Sigmoid()
        )
    def forword(self, x):
        b, c, h, w = x.zize()
        y = self.avg_pool(x).view(b,c)
        y = self.fc(y).view(b, c, 1, 1)
        return x*y

# net=se_block()
# print(net)


实例化后的运行结果
# se_block(
#   (avg_pool): AdaptiveAvgPool2d(output_size=1)
#   (fc): Sequential(
#     (0): Linear(in_features=512, out_features=32, bias=False)
#     (1): ReLU(inplace=True)
#     (2): Linear(in_features=32, out_features=512, bias=False)
#     (3): Sigmoid()
#   )
# )