RNN中的Teacher Forcing

1. 什么是Teacher Forcing

​ Teacher Forcing（下面简称tf）是一种快速有效地训练递归神经网络模型的方法，这个方法名字听着很高端，其实应用非常简单，就是使用上一时间步的输入的groud truth作为输入，而取代了真实的目标输入。该技术广泛使用在了机器翻译，文本摘要，图像描述（ image captioning）等，在训练递归网络时，tf可以加快模型的收敛速度以及提升模型的不稳定性。

2.序列预测问题

​ 我们实际生活中的很多问题都是序列问题，就拿我们熟悉的机器翻译来说，它对应的就是一种源语言的序列到目标语言的序列转换问题，在这类型的任务中，由于序列是依次产生的，所以天然适合seq2seq结构，而这类型的任务，如果直接使用目标序列作为输入指导训练，则有着收敛慢，模型稳定性差的问题。

​ 以实际例子演示一下该方法的使用情况：

​ 假如我们有一个句子“ Your plan sounds good.”，我们希望输入当前的单词，可以得到下一个单词，比如当输入“plan”的时候，我们期待能够输出“good", 让我们演示一遍：

1. 针对句子添加开始符号"sos"与终止符号"eos"，变成 “ sos Your plan sounds good eos”

   </