Transformer解码器端详解

因为一共有六层,第二层到第五层输入一致,无需处理

我们只需要关注第一阶段

在训练阶段的输入:

训练阶段好像是没有输出的

假设真实标签:How are you ?

step1:输入的张量为一个特殊的token : 'sos'

step2:'sos' How

step3:'sos' How are

step4:'sos' How are you

step4:'sos' How are you ?

在真实的过程中:不会这么动态输入,而是一次性丢给第一层,self-attention中的mask会对其进行遮掩

在预测阶段的输入

预测阶段是有输出的

我们只关注Decoder接收的输入,不关注从Encoder端的流转过来的数据

真实数据:what is the matter ?

step1:"sos"   输出:what

step2:"sos"  what    输出:is

step3:"sos"  what is  输出: the

step4:"sos"  what is the   输出:matter

step5:"sos"  what is the matter  输出:?

step6:"sos"  what is the matter ?   输出:"EOS"

结束