3、multi-head self-attention\attention
single self-attention
multi-head self attention
本质上就是多个single self-attettnion的堆叠,每个都享有不同的权重,最后再及进行concat
multi-head attention
single self-attention
multi-head self attention
本质上就是多个single self-attettnion的堆叠,每个都享有不同的权重,最后再及进行concat
multi-head attention