pytorch代码实现注意力机制之PfAAM_Attention

最新推荐文章于 2024-04-27 22:01:34 发布

我悟了-

最新推荐文章于 2024-04-27 22:01:34 发布

阅读量365

点赞数

分类专栏： pytorch实现各种注意力机制文章标签： pytorch 深度学习机器学习计算机视觉目标检测人工智能 python

本文链接：https://blog.csdn.net/DM_zx/article/details/132302306

版权

pytorch实现各种注意力机制专栏收录该内容

26 篇文章 36 订阅

订阅专栏

PfAAM注意力机制

PfAAM注意力机制是2022年提出的一种无参注意力机制，能够实现即插即用，结合通道注意力和空间注意力。
论文地址：https://arxiv.org/abs/2210.07828
结构原理图
代码如下：

import torch
from torch import nn

class PfAAMLayer(nn.Module):
    def __init__(self, c1, c2, ratio=16):
        super(PfAAMLayer, self).__init__()
        self.avg_pool = nn.AdaptiveAvgPool2d(1)
        self.sigmoid = nn.Sigmoid()
        
    def forward(self, x):
        b, c, _, _ = x.size()
        y = self.avg_pool(x).view(b, c, 1, 1).expand_as(x)
        z = torch.mean(x, dim=1, keepdim=True).expand_as(x)
        return x * self.sigmoid(y*z)