exposure bias 和 teacher forcing

在sequence model的训练过程中，输入到下一时刻的是上一时刻的ground-truth，在测试过程中，输入到下一时刻的是模型自己在上一时刻的预测结果，这时，模型在测试过程中的表现可能很差，因为模型在训练和测试过程中对下一时刻的预测是从不同的分布中推断出来的，模型的预测错误容易被累计。而这种不一致导致训练模型和测试模型直接的Gap，就叫做 Exposure Bias。

teacher forcing：在 timestep t ,给 decoder模块的输入是 Ground-truth 语句中位置Y^(t-1)时刻的单词。

 

exposure bias和teacher forcing存在很多问题：

teacher forcing在训练的时候，要求生成的字符和参考句子相同，这种约束能够减少训练过程中模型的发散，加快收敛速度，但是会扼杀解码的多样性。

同样，这种约束可能会导致矫枉过正（overcorrect）。

但是，teacher-forcing有有点，在训练的时候，使用ground-truth来矫正模型的预测结果，避免生成的序列中误差被进一步放大。

 

与teacher-forcing技术相对的是autoregressive技术：在timestep t，输入给decoder的是decoder在t-1时刻的输出。

https://zhuanlan.zhihu.com/p/93030328。