SimAM：轻量级注意力机制，解锁卷积神经网络新潜力【原理讲解及代码！！！】

xiaoh_7

已于 2024-03-25 15:57:29 修改

阅读量1.4w

点赞数 46

文章标签： cnn 深度学习机器学习人工智能图像处理

于 2024-03-25 15:53:29 首次发布

本文链接：https://blog.csdn.net/xiaoh_7/article/details/137016582

版权

SimAM是一种无参数的注意力机制，通过计算特征图的局部自相似性增强CNN性能。实验显示，SimAM在ImageNet上提高了准确率且不增加计算负担，适用于各种视觉任务。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

SimAM：轻量级、无参数的卷积神经网络注意力机制

一、摘要

注意力机制在卷积神经网络 (CNN) 中扮演着越来越重要的角色，它能够帮助模型聚焦于图像的关键区域，提升模型性能。然而，现有的注意力机制通常需要引入额外的参数，增加模型复杂度和计算成本。

SimAM 是一种轻量级、无参数的卷积神经网络注意力机制，它通过计算特征图的局部自相似性来生成注意力权重。SimAM 不需要引入任何额外参数，并且可以有效地提升 CNN 的性能。
表 1：多种注意力机制的比较
在这里插入图片描述

二、原理介绍

SimAM 的核心思想是基于图像的局部自相似性。在图像中，相邻像素之间通常具有较强的相似性，而远距离像素之间的相似性则较弱。SimAM 利用这一特性，通过计算特征图中每个像素与其相邻像素之间的相似性来生成注意力权重。

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传

图 1：SimAM——每个神经元被分配一个唯一的权重

SimAM 的计算公式如下：

w_i = \frac{1}{k} \sum_{j \in N_i} s(f_i, f_j)

其中：

$w_i$ 是第 $i$ 个像素的注意力权重
$k$ 是归一化常数
$N_i$ 是第 $i$ 个像素的相邻像素集合
$s(f_i, f_j)$ 是第 $i$ 个像素和第 $j$ 个像素之间的相似性

SimAM 使用了一种简单而有效的相似性度量方法，即欧几里得距离：

s(f_i, f_j) = -\left\| f_i - f_j \right\|_2^2

三、代码示例

SimAM 可以很容易地嵌入到现有的 CNN 模型中。以下是一个简单的示例：

import torch
import torch.nn as nn


class simam_module(torch.nn.Module):
    def __init__(self, channels = None, e_lambda = 1e-4):
        super(simam_module, self).__init__()

        self.activaton = nn.Sigmoid()
        self.e_lambda = e_lambda

    def __repr__(self):
        s = self.__class__.__name__ + '('
        s += ('lambda=%f)' % self.e_lambda)
        return s

    @staticmethod
    def get_module_name():
        return "simam"

    def forward(self, x):

        b, c, h, w = x.size()
        
        n = w * h - 1

        x_minus_mu_square = (x - x.mean(dim=[2,3], keepdim=True)).pow(2)
        y = x_minus_mu_square / (4 * (x_minus_mu_square.sum(dim=[2,3], keepdim=True) / n + self.e_lambda)) + 0.5

        return x * self.activaton(y)