本文为 3 月 9 日,香港大学博士生——顾佳涛博士在第 24 期 PhD Talk 中的直播分享实录。
在本期 PhD Talk 中,来自香港大学的博士生顾佳涛,向大家介绍了他们在加速神经机器翻译(NMT)方向的一些进展。
本次 Talk 分为三部分:
第一部分以 Google Brain 的 Transformer 为基础,嘉宾简要介绍了一些神经机器翻译的基本知识、主要进展和局限。
第二部分是这期的主要内容,嘉宾以第一作者身份,为大家详细介绍了他们最近在 ICLR 2018 上发表的文章 Non-autoregressive Neural Machine Translation。本文尝试用非自回归的方式改造 Transformer,在性能下降不多的情况下实现 10 倍左右的解码速度。
最后,作为 brainstorming,嘉宾和大家一起探讨了对于非自回归解码几个已经实现或者可能的研究方向和应用。