python自然语言处理—Scheduled Sampling(计划采样)

                                                          Scheduled Sampling(计划采样)

 

序列生成任务

    目标：在给定源输入的条件下，最大化目标序列的概率。

    训练时：该模型将目标序列中的真实元素作为解码器每一步的输入，然后最大化下一个元素的概率。

    测试时：上一步解码得到的元素被用作当前的输入，然后生成下一个元素。

    出现问题：训练阶段和测试阶段的解码器输入数据的概率分布不一致。

                      如果序列前面生成了错误元素，后面的输入状态将会受到影响，而该误差会随着生成过程不断向后积累。

    出现问题原因：因为训练和测试的前一输入不同，导致可能预测时产生的序列在训练中根本没有出现过，这样预测时模型就不知道该怎么选择。

    问题解决方案：Scheduled Sampling 
       

Scheduled Sampling

    Scheduled Sampling 是一种解决训练和生成时输入数据分布不一致的方法。在训练早期该方法主要使用目标序列中的真实元素作为解码器的输入，可以将模型从随机初始化的状态快速引导至一个合理的状态。随着训练的进行，该方法会逐渐更多地使用生成的元素作为解码器输入，以解决数据分布不一致的问题。

    Scheduled