Unsupervised Parallel Sentence Extraction with Parallel SegmentDetection Helps Machine Translation
这是2019ACL德国慕尼黑大学的一篇文章。文章是从相近的语料中挖掘平行句,并不是主要做翻译任务,但此任务所挖掘的平行句是不是对翻译任务有所帮助?
文章链接:
Unsupervised Parallel Sentence Extraction with Parallel Segment Detection Helps Machine Translation
代码链接:
https://github.com/hangyav/UnsupPSE
论文点
摘要
从可比语料库中挖掘平行句具有重要意义。以前的大多数工作依赖于有监督的系统,这些系统是根据平行数据进行训练的,因此它们在低资源场景中的适用性是有问题的。无监督双语词嵌入的最新发展使得基于源语和目标语词的余弦相似性来挖掘平行句成为可能。我们发现仅仅依靠这些信息是不够的,因为句子往往有相似的单词,但是不同的意思。我们在句子对候选词中检测连续的平行段,并依赖它们来挖掘平行句。在一个标准的人工数据共享任务中,我们在三个语言对上展示了更好的挖掘准确性。我们还提供了第一个实验,表明从现实生活来源挖掘的平行句子改善了无监督机器翻译。我们的代码是可用的,我们希望它将用于支持低资源的MT研究。