2021-02-20

自注意力 survey（https://blog.csdn.net/xys430381_1/article/details/89323444） 笔记

 

自注意力机制是注意力机制的改进，其减少了对外部信息的依赖，更擅长捕捉数据或特征的内部相关性。 自注意力机制通过捕捉全局的信息来获得更大的感受野和上下文信息

自注意力机制通过（key, query, value）的三元组提供了一种有效的捕捉全局上下文信息的建模方式，由于每一个点都要捕捉全局的上下文信息，这就导致了自注意力机制模块会有很大的计算复杂度和显存容量

就注意力关注的域来分：

1. 空间域(spatial domain)
2. 通道域(channel domain)
3. 层域(layer domain)
4. 混合域(mixed domain)
5. 时间域(time domain)：还有另一种比较特殊的强注意力实现的注意力域，时间域(time domain)，但是因为强注意力是使用reinforcement learning来实现的，训练起来有所不同

一个概念：Self-attention自注意力，就是 feature map 间的自主学习，分配权重（可以是 spatial，可以是 temporal，也可以是 channel间）

 

1. 避免降维有助于学习有效的通道注意；

2. 轻量模块ECANet（通道注意力超强改进）；