Parameter Sharing Methods for Multilingual Self-Attentional Translation Models阅读笔记
论文链接motivation:本文研究了参数共享技术,这些技术在完全共享和个体训练之间找到了一个令人满意的平衡点,特别是关注自我注意的transformer模型。本文发现,主要当目标语言来自相似的语系时,全参数共享方法导致BLEU分数的增加。然而,在目标语言来自不同语系的情况下,全参数共享会导致BLEU分数显著下降。production神经机器翻译(NMT)现在是机器翻译研究中事实上的标准,因为它的实现相对简单,能够进行端到端的训练,并且翻译精度高。NMT的早期方法是在编码器和解码器层使用递归神经网络
原创
2021-05-08 11:19:11 ·
243 阅读 ·
0 评论