temp_id_lims的博客

原创 Transformer基础

一、Attention基础1.Seq2SeqSeq2Seq经常用在机器翻译中，如下图所示，seq2seq模型中的编码器和解码器一般采用的是循环神经网络RNN。编码器将输入的法语单词序列编码成context向量（在绿色encoder和紫色decoder中间出现），然后解码器根据context向量解码出英语单词序列。最早提出的seq2seq模型都是基于RNN进行处理的，方法如下图：首先将单词映射为embedding向量（绿色输入），并和初始化好的隐藏向量（橙色输入）进行计算得到输出（粉色）和一.