- 软注意力机制关注于区域或者通道,软注意是确定性注意力,是可微的,能够通过训练得到注意力权重。
- 强注意力与软注意力不同点在于,首先强注意力是更加关注点,即图像中的每个点都有可能延伸出注意力,同时强注意力是一个随机的预测过程,更强调动态变化。当然,最关键之处在于,强注意力是一个不可微的注意力,训练过程往往是通过增强学习 (reinforcement learning) 来完成的。
- 施加权重的方式略有差别,可概括为:
-
- 加权可作用在原图上;
-
- 加权可作用在空间尺度上,给不同空间位置加权,如 PAM;
-
- 加权可作用在通道尺度上,给不同通道特征加权,如 CAM;
-
- 加权可作用在不同时刻历史特征上,结合循环结构添加权重,如机器翻译或视频相关的工作。
- 加权可作用在不同时刻历史特征上,结合循环结构添加权重,如机器翻译或视频相关的工作。
reshape过程:
theta:view+permute
phi:view
g:view+permute
矩阵乘法:
f = torch.matmul(theta, phi)