NAM：基于归一化的注意力模块

NAM：基于归一化的注意力模块

摘要 识别不太显着的特征是模型压缩的关键。但是，这一点在以往的注意力机制中却没有得到研究。在这项工作中，我们提出了一种新的基于归一化的注意力模块（NAM），它抑制了较少的显着权重。它将权重稀疏惩罚应用于注意力模块，从而使它们在保持相似性能的同时提高计算效率。与 Resnet 和 Mobilenet 上的其他三种注意力机制的比较表明，我们的方法具有更高的准确性。本文的代码可以在 https://github.com/Christian-lyc/NAM 上公开访问。

1引言

注意力机制是近年来研究的热点之一（Wang et al. [2017], Hu et al. [2018], Park et al. [2018], Woo et al. [2018], Gao et al. [2018] . [2019])。它帮助深度神经网络抑制不太显着的像素或通道。许多先前的研究都集中在通过注意力操作捕获显着特征（Zhang et al. [2020], Misra et al. [2021]）。这些方法成功地利用了来自不同特征维度的互信息。然而，它们缺乏对权重的影响因素的考虑，这能够进一步抑制不重要的通道或像素。受刘等人的启发。 [2017]，我们的目标是利用权重的影响因素来改进注意力机制。我们使用批量标准化的比例因子，它使用标准偏差来表示权重的重要性。这样可以避免添加 SE、BAM 和 CBAM 中使用的全连接和卷积层。因此，我们提出了一种