注意力机制的分类

目录

 

1.什么是注意力机制

2.注意力机制分类

3.代表算法

（1）空间域代表算法

（2）通道域代表算法 

（3）混合域代表算法

①DANet

②CBAM 

 4.注意力机制的应用

---

1.什么是注意力机制

        注意力机制通俗的讲就是把注意力集中放在重要的点上，而忽略其他不重要的因素。其中重要程度的判断取决于应用场景，具备注意力机制的神经网络可更好的进行自主学习。

注意力机制包含两个步骤：

• 注意力机制需要先决定整段输入哪个部分需要更加关注
• 从关键的部分进行特征提取，得到重要的信息

2.注意力机制分类

按注意力的关注域分类，可分为：

• 空间域（spatial domain）
• 通道域（channel domain）
• 层域（layer domain）
• 混合域（mixed domain）
• 时间域（time domain）

        注意力机制可以帮助模型为输入图像的各个部分分配不同的权重，提取更关键、更重要的信息，使模型能够做出更准确的判断，同时不会给模型的计算和存储带来更多的消耗。

3.代表算法

（1）空间域代表算法

（2）通道域代表算法 

（3）混合域代表算法

①DANet

 

②CBAM 

CBAM模块详见CBAM——即插即用的注意力模块（附代码）

 4.注意力机制的应用