在注意力机制里面,每一次能看到整个完整的输入,我们要避免这个情况发生。也就是说,在解码器训练的时候,在预测第t个时刻的输出的时候,不应该看到t时刻以后的那些输入。通过一个带掩码的注意力机制,从而保证预测和训练的时候行为是一致的。
position encoding是为了加时序信息。
在注意力机制里面,每一次能看到整个完整的输入,我们要避免这个情况发生。也就是说,在解码器训练的时候,在预测第t个时刻的输出的时候,不应该看到t时刻以后的那些输入。通过一个带掩码的注意力机制,从而保证预测和训练的时候行为是一致的。
position encoding是为了加时序信息。