【从 0 开始学习 Transformer】番外：Transformer 如何穿梭时空？

• 1. 前言
• 2. Transformer 穿越时空了？
• 3. 使用真值模拟输出配合前瞻遮挡

1. 前言

讲解 Transfomer 在训练阶段为何无需循环调用模型即可完成导师监督（teacher-forcing）法。讲解前瞻遮挡原理的精妙用法：通过一次正向传播，模拟模型逐个得到得到整个目标句子的预测过程。

2. Transformer 穿越时空了？

首先，我们来看看 Transofrmer 是如何完成导师监督的（下面这是一张动图，依然来自Jay Alammar，有可能加载不出来，请参考原文The Decoder Side部分)：

这和本系列第二篇文章的 7.评估 部分是一