在S2S任务中，主要就是input进入encoder，然后经过decoder得到输出 transformer中的encoder结构，其作用就是输入一排向量，输出另一段向量，可以用self-attention，RNN，CNN模型完成、在transform中用的是attention 下面是encoder结构，input经过一系列的block，最后得到另外一组向量， 接下来是每个block的解析，以input为单独一个蓝色标签b为例，首先输入经过attention得到a,然后将a做残差即得到a+b，再将a+b做layer-norm得到c，将c经过全连接层（即右半边），并做残差得到c+d，并作layer-norm得到e，上述结构为一个block (layer-name与batch norm大致相同，不过不在局限于一个bantch） 整体结构图，将输入加入位置信息，（进入attention，在进行layer-norm，在进行FC+layer-norm）括号的为一个block操作重复n次 以上部分为encoder，decoder部分 将encoder得到的一组vector，在经过decoder结果在经过softmax得到输出值 decoder 会将前一次自己的输出当作输入 下面是decoder的结构，其中mask self-attention与self-attention区别在于，计算a22的时候q2只考虑与k1，k2相乘，不再考虑后面的k3，k4，得到的结果进入multi head attention 将mask attention中的vector得到q后，再从encoder结果抽取出资讯出来
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
131
938
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
