【深度学习笔记】注意力机制

• 软注意力机制关注于区域或者通道，软注意是确定性注意力，是可微的，能够通过训练得到注意力权重。
• 强注意力与软注意力不同点在于，首先强注意力是更加关注点，即图像中的每个点都有可能延伸出注意力，同时强注意力是一个随机的预测过程，更强调动态变化。当然，最关键之处在于，强注意力是一个不可微的注意力，训练过程往往是通过增强学习 (reinforcement learning) 来完成的。
• 施加权重的方式略有差别，可概括为：
• • 加权可作用在原图上；
• • 加权可作用在空间尺度上，给不同空间位置加权，如 PAM；
• • 加权可作用在通道尺度上，给不同通道特征加权，如 CAM；
• • 加权可作用在不同时刻历史特征上，结合循环结构添加权重，如机器翻译或视频相关的工作。
    

reshape过程：
theta：view+permute

phi：view

g：view+permute

矩阵乘法：
f = torch.matmul(theta, phi)