1. SimAM介绍
1.1 摘要:在本文中,我们提出了一个概念上简单但非常有效的卷积神经网络(ConvNets)注意力模块。 与现有的通道和空间注意力模块相比,我们的模块为层中的特征图推断 3D 注意力权重,而不向原始网络添加参数。 具体来说,我们基于一些著名的神经科学理论,提出优化能量函数来找到每个神经元的重要性。 我们进一步推导了能量函数的快速封闭式解决方案,并表明该解决方案可以用不到十行代码来实现。 该模块的另一个优点是,大多数算子是根据定义的能量函数的解来选择的,避免了过多的结构调整工作。 对各种视觉任务的定量评估表明,所提出的模块灵活有效,可以提高许多ConvNet的表示能力。
官方论文地址:http://proceedings.mlr.press/v139/yang21o/yang21o.pdf
官方代码地址: