[论文阅读]Learning Light-Weight Translation Models from Deep Transformer

最新推荐文章于 2023-12-22 02:23:09 发布

XMU_MIAO

最新推荐文章于 2023-12-22 02:23:09 发布

阅读量611

点赞数 2

分类专栏：论文阅读文章标签：深度学习人工智能神经网络自然语言处理

本文链接：https://blog.csdn.net/ZY_miao/article/details/113200026

版权

本文提出了一种名为Group-Permutation Based Knowledge Distillation (GPKD) 的方法，结合 Skipping Sub-layer (SSL) 技术，用于将深Transformer模型压缩成轻量级模型，同时保持高性能。实验表明，这种方法在多个基准上有效，压缩后的模型在BLEU得分上几乎无损失。此外，SSL方法通过随机删除子层引入扰动，提高了教师模型的性能。

摘要由CSDN通过智能技术生成

文章目录

前言
摘要
1、Introduction & Motivation
2、How to do ?
- 2.1 Group-Permutation Based Knowledge Distillation
- 2.2 Skipping Sub-layer method
3、Experiments Analysis（main）
总结

前言

论文名：Learning Light-Weight Translation Models from Deep Transformer
论文作者：Bei Li et al.
机构：
	NLP Lab,School of Computer Science and Engineering, Northeastern University, Shenyang
	（东北大学NLP组）
	NiuTrans Research, Shenyang, China
	（小牛翻译研究中心）
期刊/会议名：AAAI 2021
本文作者：XMU_MIAO
日期：2021/1/27

摘要

近来深度模型在神经机器翻译（MNT）取得了巨大的进展。然而，MNT在计算昂贵且耗资源。本文中，我们向学习能力强但轻量级的NMT系统迈出了一步。我们提出一种新的基于 $group{-}permutation$ 的知识蒸馏方法来将深的Transformer模型压缩为一个浅的轻量模型。在多个基准（benchmark）上的实验结果验证了我们方法的有效性。我们的压缩模型比深度模型浅8倍，而BLEU几乎没有损失。为了进一步增强 $t e a c h e r$ 模型的性能，我们提出了一种 $Skipping\,\,Sub{-}Layer$ 的方法来随机删除子层以引入扰动训练，在WMT14 En-De上获得30.63的BLEU值。

1、Introduction & Motivation

这篇文章从蒸馏的角度提出一种新的基于 $group{-}permutation$ 的蒸馏方法 $(G P K D)$ 以及一种训练深度 $t e a c h e r$ 模型的正则化方法 $Skipping\,\,Sub{-}Layer$ （文中这两种方法都应用在了Encoder端）。基于 $group{-}permutation$ 的蒸馏方法是在 $sequence{-}level\,distillation（SKD）$