多头注意力使得模型能够从不同的子空间获取特征,首先结构如下:
假如Q,K,V对应的都是(2,3,6)的数据块,使用h=2的两头注意力来操作。首先使用3个全连接分别对Q,K,V进行映射得到3个(2,3,6)Tensor,然后每个Tensor的最后一维进行split(2)操作(h=2,两头注意力),将每个Tensor切为两个(3,3),然后在第一维上进行concat操作,这样就得到4个(3,3)Q_,4个(3,3)的K_,4个(3,3)的V_。下图表示对Q进行操作,K和V也同理:
进行split和concat操作后,相当于一个2条数据的batch变成4条数据的batch,进行注意力的计算互不干扰,使用scaled_dot_product_attention进行attention操作,依旧使用公式:
在《Attention is all your need》中h为8,也就是会分为8个子注意力来并行计算。最后在计算完成后将8个子注意力拼接在一块。