什么是Exposure Bias
Exposure Bias 是在RNN(递归神经网络)中的一种偏差
即 RNN 在 训练(training) 时接受的标签是真实的值(ground truth input),
但测试 (testing) 时却接受自己前一个单元的输出(output)作为本单元的输入(input),这两个setting不一致会导致误差累积error accumulate
误差累积是因为,你在测试的时候,如果前面单元的输出已经是错的,那么你把这个错的输出作为下一单元的输入,那么理所当然就是“一错再错”,造成错误的累积。