qq_43331398的博客

原创 multi-head attention理解加代码

(multi-head attention 用于CNN相关理解)饭前小菜在早期的Machine Translation(机器翻译)中，Attention机制与RNN的结合。机器翻译解决的是输入是一串在某种语言中的一句话，输出是目标语言相对应的话的问题，如将中文翻译成英文。通常的配置是encoder-decoder结构，即encoder读入输入的句子并将其转换为一个固定长度的向量，然后decod...