多头注意力机制

 

 d_model每一个字，用多少向量维度表示

 batch_size,1,就一个句子

seq_len,5

d_model,4

d_model换成n_heads和d_k

Attention需要encoder中所有的hidden states的信息都传入decoder中，若encoder中有N个hidden states，则需要将这N个hidden states 的信息全部给decoder。将所有信息传入decoder之前，我们需要为N个hidden states 分别设置一个权重（之后会详细解释如何求得权重),之后将每一个hidden state 根据设置权重加权求和，再将所有加权求和之后的 hidden states 输入到decoder中。