self-attention简单过程

Self—attention

对序列*a¹、a²、a³、a⁴*进行同时考虑相互影响作为输出

1. 对a¹用w^q矩阵求出a¹的q¹（quarry）,用来查询a¹与其他a^1~4的关联性

2. a¹、a²、a³、a⁴同时乘上w^k得到k^1~4（key）作为被查询值

3. 用*q¹分别乘上k^1~4得到𝛼_1,1 𝛼_1,2 𝛼_1,3 𝛼_1,4作为其分别与a¹*的关联性，再经过一层Soft-max层得到最终关联性表达𝛼‘_1,1 𝛼’_1,2 𝛼‘_1,3 𝛼’_1,4
   ​

4. a¹、a²、a³、a⁴同时乘上w^v得到v^1~4（value）作为每一个输入的抽取值

5. 最后使用关联性做系数对v^1~4做加权求和得到最终输出b¹