19 注意力机制

1.注意力机制

从心理学的角度出发

• 动物需要在复杂的环境下有效地关注值得注意的点

• 心理学框架：人类根据随意线索（主动、有意识）和不随意线索选择注意点

注意力机制

卷积、全连接、池化层都只考虑不随意线索（没有明确的目标）

• 池化操作通常是将感受野范围中的最大值提取出来（最大池化）

• 卷积操作通常是对输入全部通过卷积核进行操作，然后提取出一些比较明显的特征

• 注意力机制是显式地考虑随意线索

  • 随意线索被称之为查询（query）---- 所想要做的事情
  • 每个输入是一个值（value）和不随意线索（key）的对 ---- 可以理解为环境，就是一些键值对，key 和 value 可以相同，也可以不同
  • 通过