CVPR2021-注意力机制coordinate attention

最新推荐文章于 2024-08-09 08:09:27 发布

代号零零一

最新推荐文章于 2024-08-09 08:09:27 发布

阅读量2.9k

点赞数 4

分类专栏：深度学习即插即用模块文章标签：深度学习算法

本文链接：https://blog.csdn.net/qq_37993640/article/details/118599204

版权

本文介绍了CVPR2021中的一种注意力机制——coordinate attention，重点在于其原理和源码实现。适用于深度学习模型，通过修改网络参数可将该机制插入到模型中。

摘要由CSDN通过智能技术生成

因为偏应用，这里直接给原理图和代码，以及插入网络需要修改的参数。
原理图：
在这里插入图片描述
这里只给出coordinate attention源码，调用时需要传入以下两个参数，分别为输入特征图的通道数、输出特征图的通道数。代码如下：

下面展示一些 内联代码片。

import torch
import torch.nn as nn
import math
import torch.nn.functional as F

class h_sigmoid(nn.Module):
    def __init__(self, inplace=True):
        super(h_sigmoid, self).__init__()
        self.relu = nn.ReLU6(inplace=inplace)

    def forward(self, x):
        return self.relu(x + 3) / 6

class h_swish(nn