本文介绍了针对kNN-MT推理速度慢的问题，提出了一种名为kNN-KD的知识蒸馏方法。kNN-KD在保持kNN-MT性能的同时，显著提高了推理速度，使其达到常规神经机器翻译模型的水平。实验结果显示，kNN-KD在多个数据集上超越了其他基线模型，表现出更好的泛化能力。
©PaperWeekly 原创 · 作者 | BNDSBilly
研究方向 | 自然语言处理
Background
ICLR 2021 的一篇文章提出了基于 KNN 方法的机器翻译（kNN-MT），可以将 kNN 方法添加到现有的神经机器翻译模型（NMT）上，从而进一步提升推理表现。该方法帮助当时的 SOTA 德语-英语翻译模型提升了 1.5 BLEU 分数，并且还可以适应跨领域及零样本传输。
本次要分享的论文则是针对 kNN-MT 推理速度过慢的不足，提出了蒸馏方法（kNN-KD）。从而在保持 kNN-MT 表现的情况下，将推理速度提升到了与一般 NMT 模型推理速度相当的水平。
论文标题：
Nearest Neighbor Knowledge Distillation for Neural Machine Translation
收录会议：
NAACL 2022
论文链接：
https://arxiv.org/abs/2205.00479
Methods
最低0.47元/天 解锁文章
扫一扫
2183
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
