CH4 自注意力机制学习笔记

注意力机制参考资料：https://zhuanlan.zhihu.com/p/47063917

在处理序列数据时，简单的类似于RNN模型，在将输入转化为定长向量时会造成数据信息的丢失，采用注意力机制使得模型的每一个输出会以不同的权重参考输入，更符合实际生活中人类的思考方式。

权重的计算方式：

其中wq和wk为 参数矩阵，由训练获得具体数值。

I为模型的输入，O为输出，A到A'可通过softmax函数进行归一化处理。

多头注意力机制：

将得到的Q和K分别乘以n个不同的矩阵，n极为head（头）的个数，在计算A时,Q只和相同的头对应的K进行运算.