因为一共有六层,第二层到第五层输入一致,无需处理
我们只需要关注第一阶段
在训练阶段的输入:
训练阶段好像是没有输出的
假设真实标签:How are you ?
step1:输入的张量为一个特殊的token : 'sos'
step2:'sos' How
step3:'sos' How are
step4:'sos' How are you
step4:'sos' How are you ?
在真实的过程中:不会这么动态输入,而是一次性丢给第一层,self-attention中的mask会对其进行遮掩
在预测阶段的输入
预测阶段是有输出的
我们只关注Decoder接收的输入,不关注从Encoder端的流转过来的数据
真实数据:what is the matter ?
step1:"sos" 输出:what
step2:"sos" what 输出:is
step3:"sos" what is 输出: the
step4:"sos" what is the 输出:matter
step5:"sos" what is the matter 输出:?
step6:"sos" what is the matter ? 输出:"EOS"
结束