NAACL 2022 | 机器翻译SOTA模型的蒸馏

©PaperWeekly 原创 · 作者 | BNDSBilly

研究方向 | 自然语言处理

Background

ICLR 2021 的一篇文章提出了基于 KNN 方法的机器翻译（kNN-MT），可以将 kNN 方法添加到现有的神经机器翻译模型（NMT）上，从而进一步提升推理表现。该方法帮助当时的 SOTA 德语-英语翻译模型提升了 1.5 BLEU 分数，并且还可以适应跨领域及零样本传输。

本次要分享的论文则是针对 kNN-MT 推理速度过慢的不足，提出了蒸馏方法（kNN-KD）。从而在保持 kNN-MT 表现的情况下，将推理速度提升到了与一般 NMT 模型推理速度相当的水平。

论文标题：

Nearest Neighbor Knowledge Distillation for Neural Machine Translation

收录会议：

NAACL 2022

论文链接：

https://arxiv.org/abs/2205.00479

Methods