0429 SMT总结 Curriculum learning for MT

课程学习（Curriculum Learning）由Montreal大学的Bengio教授团队在2009年的ICML上提出，主要思想是模仿人类学习的特点，由简单到困难来学习课程（在机器学习里就是容易学习的样本和不容易学习的样本），这样容易使模型找到更好的局部最优，同时加快训练的速度。

如何在将Curriculum learning用于MT？

总结与思考：
（1）首先可以利用Curriculum learning来在一定程度上提升自己的结果（从不同的角度来利用，在数据、任务、训练机制等角度，存在由易到难的一个过渡都可以考虑），但它本身可能并不适合做一个专门的研究点。
（2）Curriculum learning的思想可以比较好的融合到强化学习内。
参考论文：Reinforced Curriculum Learning on Pre-trained Neural Machine Translation Models
（3）怎样来定义Curriculum learning里 难 和 易这两个评价指标？不能直接靠直觉，要有东西来支撑是能够对课程有难易程度的评判，再来利用Curriculum learning比较好。像在第一篇论文中提出了多个指标来评价数据的简单性和代表性，并且和之前的论文在这个层面上做了比较多的比较，来证明自己的方法比较好；第二篇论文没有明确的指出难和易的评价标准，是由平时对AT和NAT的训练经验来得到训练AT到训练NAT是一个由易到难的过程。

论文1：
Dynamic Data Selection and Weighting for Iterative Back-Translation

反向翻译是在神经机器翻译（NMT）中利用单语数据的有效方法，并且反复进行反向翻译可以进一步提高模型性能。选择要反向翻译的单语数据至关重要，因为要求生成的合成数据必须具有高质量并反映目标域。通常的做法是选择接近目标域但又不同于普通通用域文本的样本。这种方法并不理想，因为第二个目标可能会偏向于远离目标分布中心的句子选择，从而可能导致选择一组非代表性的句子。文章中用Curriculum learning的方式改进了这个方法。首先选择最简单的样本进行回译，以确保回译数据的质量。 随着训练的进行，该模型将更好地翻译域内句子，将转向选择更具代表性的示例。

如何定义简单以及具有代表性？

论文中分别用了几种方法：对于简单性使用了general domain交叉熵；两个模型E到F和F到E，s和s’的BLEU； 代表性：in-domain交叉熵，s的TF-IDF向量和一个小in-domain dataset里所有句子的余弦相似度的最大值；BERT相似度。

数据加权：

总体算法：

在每个时期，使用等式2计算单语语料库中每个句子的分数，并选择顶部的p％句子，其中p是超参数。 然后，对所选数据执行反向翻译和数据加权，然后使用反向翻译的数据来训练翻译模型。 该过程将在两个方向上重复进行，每个训练时期都会增加λ。

实验及结果：

论文2：

Fine-Tuning by Curriculum Learning for Non-Autoregressive Neural Machine Translation

考虑到：1）NAT比AT困难，这是因为NAT模型中的解码器必须处理以越来越少的目标端信息为条件的转换任务； 2）AT模型比NAT模型具有更高的准确性； 3）NAT模型通常与AT模型（Vaswani et al.2017）共享相同的编码器-解码器框架，微调是很自然的一个训练有素的NAT的AT模型，以便传递在AT模型中学习到的知识，尤其是目标语言建模和在解码器中生成的能力。但是，AT和NAT模型在训练上有很大不同，因此直接对训练有素的AT模型进行微调通常不会产生良好的NAT模型。====>使用Curriculum learning思想进行过渡。

首先像AT模型一样提供目标句子，然后用复制的源句子中的标记随机替换多个标记。

首先使用AT模型的注意面具来训练模型，然后在预定的训练步骤之后完全切换到NAT模型。

实验及结果：