1. NAM介绍
1.1 摘要:识别不太显著的特征是模型压缩的关键。然而,在革命性注意机制中,它还没有被研究过。本文提出了一种新的基于归一化的注意力模型(NAM),该模型可以抑制不显著的权重。它对注意模块应用加权稀疏性惩罚,从而使它们在保持相似性能的同时更有计算效率。在Resnet和Mobilenet上与其他三种注意机制进行了比较,结果表明,该方法具有更高的准确率。
官方论文地址:https://arxiv.org/pdf/2111.12419
官方代码地址:https://github.com/Christian-lyc/NAM
1.2 简单介绍:
NAM(Normalization-bas