Unet改进3：在不同位置添加NAMAttention注意力机制

本文内容：在不同位置添加NAMAttention注意力机制

目录

论文简介

1.步骤一

2.步骤二

3.步骤三

4.步骤四

---

论文简介

识别不太显著的特征是模型压缩的关键。然而，它在革命性的注意机制中尚未得到研究。在这项工作中，我们提出了一种新的基于归一化的注意力模块(NAM)，它抑制了较不显著的权重。它将权重稀疏性惩罚应用于注意力模块，从而使它们在保持类似性能的同时提高计算效率。与Resnet和Mobilenet上的其他三种注意机制的比较表明，我们的方法具有更高的准确性

1.步骤一

新建blocks/NAMAattention.py文件，添加如下代码：

#####NAMAttention
import torch.nn as n