零基础学nlp【1】 多任务训练（Multi-task sequence to sequence learning）

零基础学nlp【1】 多任务训练

论文： Luong M T, Le Q V, Sutskever I, et al. Multi-task sequence to sequence learning[J]. arXiv preprint arXiv:1511.06114, 2015.](https://arxiv.org/pdf/1511.06114.pdf)

整体思路

多任务训练如图所示，分别是单对多，多对单，多对多。举个例子，在单对多任务训练中，采用相同的encoder不同的decoder，训练encoder的时候交叉使用不同的task对encoder进行训练，可以看做encoder融合了不同task所需的信息。在这样的多任务训练模式下，作者发现通过调节次要task 的mixing ratio（比如主要任务是翻译，每训练100次翻译任务后用文本分析任务训练10次，则mixing ratio是0.1）可以使主要任务在测试集上得到更好的效果。