课程学习：让神经机器翻译模型像人类一样学习

点击蓝字

关注我们

AI TIME欢迎每一位AI爱好者的加入！

近些年来，神经机器翻译得到了迅速发展，在特定翻译场景下甚至可以媲美人类翻译的水平。但是，在难以收集双语数据的语言方向和专业领域的情况下，神经机器翻译模型面临着低资源问题，模型难以达到良好的性能。目前解决低资源问题的常用方法如预训练、迁移学习和数据增强，都比较依赖辅助数据。而在面临低资源问题时，辅助数据依然是较难获取的。人类在学习时所需的数据远少于神经机器翻译模型，那么神经机器翻译是否可以像人类一样学习？课程学习就是模仿人类的学习策略，有组织地利用有限的训练数据，从而达到更高的模型性能。

许晨：东北大学自然语言处理实验室博士二年级学生，导师是朱靖波教授和肖桐教授。研究方向主要包括低资源机器翻译、语音翻译。

一、背景介绍

1.1 机器翻译

机器翻译是利用计算机将句子从一种语言自动翻译为另外一种语言的技术。随着深度学习技术的发展，机器翻译模型也在不断改进。从一开始的基于循环神经网络的模型发展到基于卷积神经网络的模型，再到目前比较火热的基于自注意力机制的机器翻译模型，机器翻译模型的能力已经有了非常大的提升。

图1：机器翻译的发展

在特定的语言方向和数据集上，机器翻译甚至可以达到人类翻译水平，在诸多场景下都发挥了巨大的作用。

图2：机器翻译的应用场景

1.2 低资源问题

但目前神经机器翻译模型的性能与双语数据的数据量十分相关，这导致在无法获取充分数据量的情况下，神经机器翻译模型无法达到理想水平。