该论文提出了一种名为kNN-KD的蒸馏方法，旨在解决kNN-MT（基于KNN的机器翻译）推理速度慢的问题。kNN-KD在保持翻译性能的同时，显著提升了模型的推理速度，使其达到常规NMT模型的水平。该方法是针对ICLR2021中提出的kNN-MT模型的优化，对于提高SOTA机器翻译模型的效率具有重要意义。
#今日论文推荐# NAACL 2022 | 机器翻译SOTA模型的蒸馏
ICLR 2021 的一篇文章提出了基于 KNN 方法的机器翻译（kNN-MT），可以将 kNN 方法添加到现有的神经机器翻译模型（NMT）上，从而进一步提升推理表现。该方法帮助当时的 SOTA 德语-英语翻译模型提升了 1.5 BLEU 分数，并且还可以适应跨领域及零样本传输。
本次要分享的论文则是针对 kNN-MT 推理速度过慢的不足，提出了蒸馏方法（kNN-KD）。从而在保持 kNN-MT 表现的情况下，将推理速度提升到了与一般 NMT 模型推理速度相当的水平。
论文题目：Nearest Neighbor Knowledge Distillation for Neural Machine Translation
详细解读：https://www.aminer.cn/research_report/62bbbd0f7cb68b460fde5ea0
https://www.aminer.cn/research_report/62bbbd0f7cb68b460fde5ea0
AMiner链接：https://www.aminer.cn/?f=cs
扫一扫
1130
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
