Attention机制

一、什么是注意力机制
Attention机制：又称为注意力机制，顾名思义，是一种能让模型对重要信息重点关注并充分学习吸收的技术，它不算是一个完整的模型，应当是一种技术，能够作用于任何序列模型中。
Attention的本质就是：从“关注全局”到“关注重点”。比如

从这个图上我们可以看出，我们大部分人第一眼看到的肯定是“锦江饭店”，相信很少有人第一眼就关注到了图片左下角的一个小超市，这就是注意力机制。

二、什么是注意力计算规则
它需要三个指定的输入Q(query), K(key), V(value), 然后通过计算公式得到注意力的结果, 这个结果代表query在key和value作用下的注意力表示. 当输入的Q=K=V时, 称作自注意力计算规则。Q就是我们要询问的问题，K,V是其生成的值。

三、self-attention

3.1 前沿知识
我们平常是输入一个向量，通过模型处理后得到一个编码，但是如果输入是多个向量我们改如何表示呢？

这里介绍了两种方式
（1ÿ