调研了一下目标领域少数据的机器翻译问题,持续更新中
Low-Resource MT
指在source domain有大量数据,而target domain数据很少,希望能迁移一些知识来提高target domain翻译的效果。
Low-Resource 常用作法
- 扩大数据集,e.g. 用单语数据
- pivot-based method,也常见于zero-source问题,找一个中间domain,A->B,B->C
Related Work
-
2016 Transfer Learning for Low-Resource Neural Machine Translation
第一个将transfer方法用于MT任务,low resource的setting,希望促进少数据一方的翻译效果
Parent/child model 将large corpus训练的模型参数作为small corpus的初始参数,将认为与需要迁移知识相关的参数维持不变,比如说一方是英法,一方是英德,翻译英语的encoder就保持不变,即英语embedding保持不变,只训练后半decoder -
2017 Low-Resource Neural Machine Translation with Transfer Learning
这篇似乎没有正式发表,没有找到相关的记录
Transfer方法基本follow上一篇文章,不同之处在于source和target domain不太一样,所以只迁移参数,encoder参数需要继