注意力机制的框架、数学描述、神经网络实现和代码实现之间的对应关系——学习笔记三

一种事物被人们所认知，并实际发挥作用，这中间的链条与路径，即观念到实际行动。注意力机制是一个研究成果，最早起源于1890年代，1964年的Nadaraya-Watson核回归提出，2017年transformer的提出，这是一个长期对大脑处理信息的能力的研究成果。这些成果被图形化、形式化的描述出来，并用数学语言精准描述，神经网络实现，进而在实际模型如transformer中发挥巨大作用，这个过程，就是人类最伟大的科学研究与应用过程。

话不多说，上图！

1、注意力机制框架

2、数学描述

其中 表示上图中的键，对应于非意志线索；表示查询，对应于意志线索；表示感觉输入，对应于感觉输入；表示注意力汇聚函数；表示整体输出。

用人话描述一下这个计算，就是：

        当我注意到什么的时候，此时相当于提供了一个信号激励（查询，也称自主性提示，又称意志线索），然后我的内部处理系统提供了一个输出，就是。

        那么，中间是怎么计算的?

       就是信号激励，经过注意力汇聚函数计算后，形成注意力权重，感官输入经过注意力权重加权后，形成整体的输出，这是有自主提示查询的输出。

3、日常生活中的例子

一句话，这是有自主性提示的输出结果。形象一点的例子：

喝咖啡后，我们会变得兴奋并想读书，所以转过头，重新聚焦眼睛，然后看看书，就像 图2中描述那样。 与突出性导致的选择不同，此时选择书是受到了认知和意识的控制，因此注意⼒在基于⾃主 性提⽰去辅助选择时将更为谨慎。受试者的主观意愿推动，选择的⼒量也就更强⼤。

看图：