Attention Mechanism（注意力机制）

什么是注意力机制？

    深度学习中的注意力机制和人类视觉的注意力机制类似，就是在众多信息中把注意力集中放在重点的点上，选出关键信息，而忽略其他不重要的信息。权重代表了信息的重要性，权重越大代表越聚焦鱼其对应的值。（通俗理解：当我们人类在看东西时，一般会将注意力集中注视着某个地方，而不会关注全部所有信息。例如当我们一看到下面这张猫的图片时，主要会将目光停留在猫的脸部，以及留意猫的躯干，而后面的草地则会被当成背景忽略掉，也就是说我们在每一处空间位置上的注意力分布是不一样的。）

注意力机制的特点：

参数少
速度快
效果好

注意力机制的分类：

按照注意力机制的可微性，可分为：

Hard-Attention，就是0/1问题，某个区域要么被关注，要么不关注，这是一个不可微的注意力。
Soft-Attention，[0,1]之间连续分布问题，用0到1的不同分值表示每个区域被关注的程度高低，这是一个可微的注意力。

按照注意的关注域，可分为：

• 空间域(spatial domain)
• 通道域(channel domain)
• 层域(layer domain)
• 混合域(mixed domain)
• 时间域(time domain)