attention is all your need 之 multihead_attention

多头注意力使得模型能够从不同的子空间获取特征，首先结构如下：

假如Q，K，V对应的都是（2，3，6）的数据块，使用h=2的两头注意力来操作。首先使用3个全连接分别对Q，K，V进行映射得到3个（2，3，6）Tensor，然后每个Tensor的最后一维进行split（2）操作（h=2，两头注意力），将每个Tensor切为两个（3，3），然后在第一维上进行concat操作，这样就得到4个（3，3）Q_，4个（3，3）的K_，4个（3，3）的V_。下图表示对Q进行操作，K和V也同理： 进行split和concat操作后，相当于一个2条数据的batch变成4条数据的batch，进行注意力的计算互不干扰，使用scaled_dot_product_attention进行attention操作，依旧使用公式： 在《Attention is all your need》中h为8，也就是会分为8个子注意力来并行计算。最后在计算完成后将8个子注意力拼接在一块。