SimAM A Simple, Parameter-Free Attention Module for Convolutional Neural Networks【即插即用】

SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks

SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks(一个简单的，无参数的卷积神经网络注意模块)

代码地址: https://github.com/ZjjConan/SimAM

2021年发布在PMLR

摘要

在本文中，我们为卷积神经网络(ConvNets)提出了一个概念简单但非常有效的注意力模块。与现有的通道智能和空间智能注意力模块相比，我们的模块在不向原始网络添加参数的情况下推断出层中特征映射的三维注意力权重。

具体来说，我们基于一些著名的神经科学理论，提出优化能量函数来找到每个神经元的重要性。

我们进一步推导了能量函数的快速封闭解，并表明该解可以在不到十行代码中实现。

该模块的另一个优点是，大多数算子都是根据定义的能量函数的解来选择的，避免了过多的结构调整工作。对各种视觉任务的定量评估表明，该模型灵活有效地提高了许多卷积神经网络的表示能力。

贡献

主要贡献有:

• 受人脑注意机制的启发，我们提出了一个全三维权值的注意模块，并设计了一个计算权值的能量函数。

• 我们推导了能量函数的封闭解，加速了权重计算，并允许整个模块的轻量化形式。

• 我们将提出的模块集成到一些知名的网络中，并在各种任务上对它们进行评估。

  我们的模块在精度、模型大小和速度方面优于其他流行模块。

框架

结论

在本文中，我们提出了一个新的注意力模块- SimAM，灵感来自于哺乳动物大脑的神经科学理论。特别地，我们在已有的空间抑制理论的基础上，设计了一个能量函数来实现这一理论。我们还推导了该函数的简单解，其中该函数进一步用作特征映射中每个神经元的注意重要性。我们的注意力模块是由这个能量函数引导实现的，避免了太多的启发式。大量的实验验证了所提出的SimAM的有效性和效率。我们的研究结果表明，在不同的视觉任务中，所提出的SimAM与其他网络中的注意力模块相比表现相当。