- 博客(1)
- 收藏
- 关注
原创 Transformer基础
一、Attention基础1.Seq2SeqSeq2Seq经常用在机器翻译中,如下图所示,seq2seq模型中的编码器和解码器一般采用的是循环神经网络RNN。编码器将输入的法语单词序列编码成context向量(在绿色encoder和紫色decoder中间出现),然后解码器根据context向量解码出英语单词序列。最早提出的seq2seq模型都是基于RNN进行处理的,方法如下图:首先将单词映射为embedding向量(绿色输入),并和初始化好的隐藏向量(橙色输入)进行计算得到输出(粉色)和一.
2021-09-16 02:28:07
261
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人