self-attention架构及计算细节

1、结构

self-attention其实就是一种结构，并且具备自己独特的参数计算方法，下面是self-attention的结构图，a1到a4其实可以认为是输入或者是隐含层某一层的输入，其实就是通过attention后输出维度相同的b1到b4，只是输出会考虑到a1到a4的关联关系。

如下，b1是由a1到a4综合后算出来的，那么如何去计算关联及如何得到b1呢？

 2、计算方法

计算方法其实不固定，可以相乘一个矩阵后相乘，也可以相乘再相加再tanh，但是一般会选第一种。

3、并行计算

下面这些参数是可以并行计算得到的。

4、矩阵化

5、位置参数编码方式如下