Multi-head Self-attention
一个Attention获得一个表示空间,如果多个Attention,则可以获得多个不同的表示空间。以2个head为例,a所得到的q,k,v可以进一步乘以两个变换矩阵W成为q1,q2,k1,k2,v1,v2.
图中的例子只有两个输入ai与aj,qi1与ki1做attention,qi1与kji做attention,分别乘以各自的v1后得到bi1。同理,qi2与ki2做attention,qi2与kj2做attention,可以得到bi2.
bi1与bi2 concate,最后通过降维得到与原始输入维度大小一样的输出。
不同的head关注的结果也会不同,如上图所示,红色与绿色分别是不同的head关注的讯息。